mysql删除数据库的命令(MySQL 线上数据库清理数据的方法)
mysql删除数据库的命令
MySQL 线上数据库清理数据的方法目录
- 01 场景分析
- 02 操作办法
- 03 结果分析
01 场景分析
今天下午,开发的同事提来一个需求,需要在线上要删除一些数据记录,简单看了看数据的分布,大概是要删除数据表中的两千七百多万条记录,数据表的总记录是两千八百多万,也就是说,要删除的记录占了总记录的绝大部分比重,两千七百多万的数据记录,要是删除的话,使用的时间是相当长的,对线上的业务肯定会造成影响。这里将实际的应用案例简单重构为以下方法:
|
mysql> select date , count (*) from test.tbl_a group by date ; + ----------+----------+ | date | count (*) | + ----------+----------+ | | 63103 | | 20190118 | | | | 125916 | | 20190120 | | | | 129198 | | 20190122 | | | | 5191247 | + ----------+----------+ rows in set (13.21 sec) |
上面就是重构之后的表的结构,我们可以看到,test数据库中的表tbl_b按照date分组之后,每个组的数据量都不小,而我们的需求是将date为20190118和20190123的记录删除,可以看到这两种记录总计有两千多万条,占了表中数据的绝大部分,如果直接删除的话,线上的业务肯定会受到阻塞。
以下是操作方法,需要注意的是,应用下面的操作方法的前提是:
要删除的数据占了数据表中的绝大部分。
02 操作办法
通过分析,知道剩余的表数据对于全表来说是很小的一部分,这个操作我们分为4步:
1.我们先把剩余的数据存入到另外一个数据库test1中:
|
create table test1.tbl_b_new as select * from test.tbl_b where date in (,,,,); |
这个操作的时间只有3s左右;
2.我们在test1数据库中创建一个同名的表tbl_b,它的结构和test数据库中的tbl_b数据结构一致:
|
create table test1.tbl_b like test.tbl_b; |
3.紧接着,我们使用数据库中的rename操作将表test中的表tbl_b和test1中的表tbl_b进行交换,等价于将test数据库中的表所有数据清除。
|
RENAME TABLE test.tbl_b TO test1.tbl_b_bak, test1.tbl_b TO test.tbl_b, test1.tbl_b_bak TO test1.tbl_b; |
4.再讲第一步保存的剩余数据填充到新表中来,如下:
|
insert into test.tbl_b select * from test1.tbl_b_new; |
03 结果分析
看上去我们好像把问题搞复杂了,直接删除的事情,被我们搞的多了好几个步骤,但是实际上不是这样的,这一套操作可以帮我们节省好几分钟时间,对线上业务的影响也更小,原因如下:
- 我们使用create table as的方法创建剩余的数据表,这种方法使我们仅对数据表中的少部分数据进行了操作。避免了我们对过多的数据进行扫描。
- mysql中对大表进行rename的操作,rename命令会直接修改底层的.frm文件,所以它的速度是相当之快的。
第二个特点给我们提供了一种思路,在一个很着急的业务中,要使用一个表的时候,往往不给我们留充足的时间备份表,如果我们想要删除一个大表里面的数据,而且需要进行相关备份,我们可以通过rename操作迅速处理,然后再想办法去备份rename之后的表。
上面的例子中使用create table as 和create table like两种克隆表的方式,有几点需要注意:
create table like方式会完整地克隆表结构,但不会插入数据,需要单独使用insert into或load data方式加载数据
create table as 方式会部分克隆表结构,完整保留数据
如果有兴趣,可以做做试验进行验证。
以上就是MySQL 线上数据库清理数据的方法的详细内容,更多关于MySQL 线上数据库清理数据的资料请关注开心学习网其它相关文章!
原文链接:https://cloud.tencent.com/developer/article/1533648
- mysql记录binlog的方式(MySQL使用binlog日志做数据恢复的实现)
- docker怎样安装mysql8(docker-compose安装db2数据库操作)
- mysql存储过程和函数(MySQL存储过程的查询命令介绍)
- mysql的简单介绍(MySQL Shell的介绍以及安装)
- mysql查询慢有哪些原因(MySQL 查询速度慢的原因)
- mysql中修改表的字段名(MySQL 使用SQL语句修改表名的实现)
- mysql中自增字段类型(MySQL数字类型自增的坑)
- php添加数据到mysql数据库(PHP通过代码连接XAMPP数据库及MySQL数据库方法)
- mysql架构方案讲解(MySQL 搭建MHA架构部署的步骤)
- mysql insert into 怎么用(MySQL中INSERT的一般用法)
- mysql删除数据库的命令(MySQL 线上数据库清理数据的方法)
- mysql日期与时间函数(MySQL日期函数与时间函数汇总MySQL 5.X)
- mysqldata数据如何恢复(mysql5.7.33误删除ibdata文件找回数据的方法)
- mysql数据结构讲解(详解MySQL 数据库隔离级别与MVCC)
- mysqlint后面的4是什么意思(MySQL中intn后面的n到底代表的是什么意思)
- mysql云数据库数据恢复(MySQL 利用frm文件和ibd文件恢复表数据)
- 历史惊人的相似,美国80万加仑牛奶倒入下水道,意味着什么(历史惊人的相似)
- 美国数十万加仑牛奶倒进下水道,世界会重演1929年的大萧条吗(美国数十万加仑牛奶倒进下水道)
- 美国数十万加仑牛奶倒入下水道,贫民区食不果腹,历史再次重演(美国数十万加仑牛奶倒入下水道)
- 美国倒掉数十万加仑牛奶 上热搜第一,这一幕似曾相识(美国倒掉数十万加仑牛奶)
- 深度 倒牛奶 这一幕为何又在美国上演(深度倒牛奶)
- 美国数十万加仑牛奶倒下水道怎么回事 原因曝光令人心痛(美国数十万加仑牛奶倒下水道怎么回事)
热门推荐
- docker 改变存储位置方式(修改Docker镜像默认存储位置的方法解决方法)
- 微信小程序贪吃蛇大作战(微信小程序实现贪吃蛇游戏)
- css中的margin属性(css布局之负margin妙用及其他实现)
- pandas数据分组后的处理(详解pandas如何去掉、过滤数据集中的某些值或者某些行?)
- cssanimation效果(使用CSS transition和animation改变渐变状态的实现方法)
- vue element 权限管理(Vue Element前端应用开发之功能点管理及权限控制)
- 如何让yii2高级模板运行起来(Yii框架Session与Cookie使用方法示例)
- try...catch... finally 的用法
- vue如何导入excel(Vue实现导入Excel功能步骤详解)
- sql server重建索引
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9