在部署 ELK（Elasticsearch + Logstash + Kibana）日志平台过程中，日志采集经常出现以下问题： 日志收集不完整，部分异常日志无法收集。 单条日志被截断为多条，在 Kib...
07月31日 Elasticsearch 44 次浏览 评论
ELK 日志采集日志截断问题与优化方案记录
07月31日 Elasticsearch 44 次浏览 评论
07月31日 Elasticsearch 44 次浏览 评论
mysql的主从复制同步方案
在mysql的主从复制过程中,如果想配置主从复制结构,针对一个新的环境很简单,直接配置即可,然后在创建主从后在创建数据库,这样数据就会直接同步到从库里了,但是如果创建一个已经运行一段时间的mysql,...
04月10日 MySQL 385 次浏览 评论
mysql离线部署
有些时候因环境要求,必须离线部署的时候,发现因为依赖的问题感觉就会头大,不过还好,今天发现一个比较简单的离线部署方法,就简单记录一下.首先是下载包 wget https://downloads.my...
03月20日 MySQL 440 次浏览 评论
通过mycat做高可用的mysql读写分离
原因是为了解决单个节点的压力,并且在资源使用上做分离,目前的结构是通过keeplived做反向代理,转发到两个mycat中间件上,在两个mycat上做了读写分离配置,分别写入到主库,从从库读取数据库信...
02月14日 MySQL 551 次浏览 评论
mysql读写分离中间件对比: Atlas、Mycat、DBLE及其他解决方案
引言 在现代分布式数据库架构中，读写分离和分库分表是常见的优化手段。为了实现这些功能，开发者通常会使用数据库中间件。本文将对比几种常见的 MySQL 读写分离中间件，包括 Atlas、Mycat、DB...
02月13日 MySQL 1,108 次浏览 评论
es集群磁盘I/O过高
已经部署好的es集群，但是接入到日志之后发现磁盘的io突然升高，但是数据量也不是很大，查看一下原因，原来是因为es集群在写入的时候导致的。下面看一下我排查的步骤 $ pidstat -d 1 平均...
11月19日 Elasticsearch 925 次浏览 评论
mysql主从通过过滤库和表
在mysql中主从同步是比较常用的一种数据库集群方式，但是主库上数据库很多，只是压力大的库只有一个，所以在主从同步中需要把压力大的库单独做一个从库，减轻主库压力，这时就需要设计到从库只同步压力大的一个...
06月19日 MySQL 1,516 次浏览 评论
使用nginx代理rocketmq多主多从集群
我在k8s里部署好了rocketmq多主多从集群，并且在我的kubernetes集群中已经使用了，但是突然有要求在kubernetes集群外部也要用，这个就尴尬了。因为我的是线上环境如果外部访问就需要...
06月08日 中间件 1,418 次浏览 评论
mysql利用dble做读写分离
dble是基于开源mycat的基础上开发的，所以dble也是在mycat的基础上做了改进，另外也修复了一些mycat的bug，功能和效率相比mycat更高了。这里针对，mycat和dble的区别和优劣...
06月06日 MySQL 1,345 次浏览 评论
mysql利用mycat做读写分离
这里选择使用mycat中间件做mysql的读写分离，mycat的用处这里就不多说了，可以在网上有很多。在安装mycat之前我们需要准备一个读写分离的场景，我已经配置好了，可以参考： https://w...
05月13日 MySQL 1,351 次浏览 评论