视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
mysql数据库如何实现亿级数据快速清理
2020-11-09 20:26:20 责编:小采
文档


今天收到磁盘报警异常,50G的磁盘被撑爆了,分析解决过程如下:

1. 进入linux服务器,查看mysql文件夹中各个数据库所占的磁盘空间大小

看到了吗,光olderdb就占了25G

2. 用SQLyog登录mysql数据库,查看数据库各个表的占用空间情况

SELECT CONCAT(table_schema,'.',table_name) AS 'aaa', 
 table_rows AS 'Number of Rows', 
 CONCAT(ROUND(data_length/(1024*1024*1024),6),' G') AS 'Data Size', 
 CONCAT(ROUND(index_length/(1024*1024*1024),6),' G') AS 'Index Size' , 
 CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),6),' G') AS'Total' 
FROM information_schema.TABLES 
WHERE table_schema LIKE 'olderdb'; 

3. 查询主键索引

SHOW INDEX FROM orbit 

采取策略

前提:目前需要删除80%的数据

① delete语句

我们知道delete语句的删除速度与索引量成正比,此表中的索引量已经很大了,而且数据量非常之巨大,若采用常规delete语句删除,必定会话费几天的时间。

Delete语句删除不会释放出磁盘空间,所以肯定还是会出现报警,所以此种方式不可取。

② drop掉表

新建结构相同的表,命名“cc”,'将需要保存的数据插入到此表中,然后drop掉老表。

Sql语句如下:

基于老表新建新表

CREATE TABLE cc LIKE orbit ;

插入数据(几百万的数据量一定要分批插入,一次30万-40万为最佳,毕竟mysql的数据处理能力有限)

按日期查询后插入(每天大概会产生30多万数据量,所以采用日期插入)

INSERT INTO cc SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';

结果如下:

可以看到50多万的数据量用了不到5分钟,还是比较快的。

清理后数据表空间得以释放

然后drop掉老表

DROP TABLE orbit

目测只用了3秒左右

重命名新表“cc”

ALTER TABLE cc RENAME TO orbit

总结

以上所述是小编给大家介绍的mysql数据库如何实现亿级数据快速清理 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

您可能感兴趣的文章:

  • 用批处理实现自动备份和清理mysql数据库的代码
  • php数据入库前清理 注意php intval与mysql的int取值范围不同
  • 下载本文
    显示全文
    专题