mysql的binlog太大太多占用大量磁盘的解决?
今天有个同事来问我,说mysql目录下有很多1.1G的mysql-bin.00000*文件,占用了100多G,占用磁盘空间非常大,这些文件都是msyql日志文件,从几m到几个G都有可通,要解决这个问题并不难,只要修改/etc/my.cnf文件里的#log-bin=mysql-bin和#binlog_format=mixed把这二行注释掉,重启数据库就可以了!
binlog是如何保证事务正确提交?
binlog是MySQL中的二进制日志,用于记录数据库的变更操作。它通过在事务开始和结束时记录对应的BEGIN和COMMIT事件来保证事务的正确提交。
当事务提交时,binlog会将事务的所有操作以二进制格式记录下来,并在写入磁盘之前确保所有操作都已成功执行。
这样,即使在事务提交后发生故障,MySQL可以通过回放binlog来恢复事务的一致性,保证事务的正确提交。
binlog和aof区别?
AOF是redis中的持久化技术,binlog是my sql中的日去,aof文件与MySQL数据库的binlog不同的是,AOF是一种纯文本格式,具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点,它记录的内容就是一个个的Redis标准命令。
我安装的mysql没有bin目录是怎么回事?
有正确安装好吗?点开始->运行,输入 services.msc在打开的"服务管理器"中找到mysql并双击,会弹出来个属性框框,"常规"选项卡里面有个"执行路径",从这个路径你就可以看到它的bin目录在哪.
如何将Apache日志的每日更新导入MySQL表?
请问多少日志量呢?
(1)如果不多,直接转化成insert即可,简单实用。
(2)如果日志量多,可以对日志进行处理,保存为一个sql文件。按照正确的格式。
比如:
1,"xiaoming",24,"未婚"
2,"xiaodong",29,"未婚"
3,"jdoo",19,"已婚"
每行一条数据。
批量导入即可(速度快):
LOAD DATA LOCAL INFILE '/apache/2018-02-12.log' INTO TABLE apache_log \
fields terminated by "," enclosed by """" LINES TERMINATED BY '\n';
(3)如果日志特别多,建议先想办法,安装TokuDB引擎。
特点:高压缩比,插入读取非常快。
缺点:有些变更操作不支持,或很慢。
既然是日志,那么基本无改动了,所以非常适合。
然后再按照(2)方法,批量导入,下图是我测试时候的截图,以供参考:
是否有帮你解决了问题呢? 求个赞+关注。
目前常用的方法有:
1、利用LogFormat设置将日志转换为接近sql的格式,再通过CustomLog 调用pipe实现mysql写入。
实现方法为:在apache配置文件或是虚拟主机配置文件中,配置LogFormat以及CustomLog部分,增加如下内容:
LogFormat "INSERT INTO xxxx_log (ID, dateTime, IP, URL, code, referer, userAgent, size, request) VALUES ( NULL , \"%{%Y-%m-%d %H:%M:%S}t\", \"%a\", \"%U\", \"%>s\", \" %{Referer}i\", \"%{User-Agent}i\", %b, %T);" sqlcomm
CustomLog "| /usr/bin/mysql --user=root --password='xxxxxxx' --database=xxxxlogs" sqlcomm
2、配置模块rotatelogs、seci-log、mod_log_sql实现,具体可查询相关使用手册
3、使用shell或者python脚本对日志文件进行解析,并操作数据库导入
另外具体还要视具体情况而定。

