用mysql编写test数据库(MySQL制作具有千万条测试数据的测试库的方法)
用mysql编写test数据库
MySQL制作具有千万条测试数据的测试库的方法有时候需要制造一些测试的数据,以mysql官方给的测试库为基础,插入十万,百万或者千万条数据。利用一些函数和存储过程来完成。
官方给的测试库地址:https://github.com/datacharmer/test_db
导入官方的数据库,做了一些简化,留下了部门表,员工表和雇佣表三张表,去掉了外键关联。因为是测试数据,日期的对应关系不具备准确性。
必要的函数
生成随机字符串
RAND():生成0~1之间的随机数
FLOOR:向下整数 (FlOOR(1.2)=1)
CEILING 向上取整 (CEILING(1.2)=2)
substring:截取字符串
concat:字符串连接
|
CREATE DEFINER=`root`@`localhost` FUNCTION `rand_string`(n INT ) RETURNS varchar (255) CHARSET latin1 BEGIN DECLARE chars_str varchar (100) DEFAULT 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz' ; DECLARE return_str varchar (255) DEFAULT '' ; DECLARE i INT DEFAULT 0; WHILE i < n DO SET return_str = concat(return_str, substring (chars_str , FLOOR(1 + RAND()*62 ),1)); SET i = i +1; END WHILE; RETURN return_str; END |
查看自定义的所有函数
|
show function status |
测试使用:
|
select rand_string(5); |
生成随机年月日字符串
生成一个指定时间段内的随机日期
|
SELECT date ( from_unixtime( unix_timestamp( '2000-01-01' ) + floor( rand() * ( unix_timestamp( '2020-12-31' ) - unix_timestamp( '2000-01-01' ) + 1 ) ) )); |
函数:生成指定时间段内的随机日期
|
CREATE DEFINER=`root`@`localhost` FUNCTION `rand_date_string`(startDate varchar (255),endDate varchar (255)) RETURNS varchar (255) CHARSET latin1 BEGIN DECLARE return_str varchar (255) DEFAULT '' ; SET return_str = date ( from_unixtime( unix_timestamp( startDate ) + floor( rand() * ( unix_timestamp( endDate ) - unix_timestamp( startDate ) + 1 ) ) ) ); RETURN return_str; END |
测试使用:
|
select rand_date_string( '2000-01-01' , '2020-12-31' ); //结果 2001-09-10 |
存储过程生成数据
给每个部门插入一百万员工,那么员工表就有九百万的数据。
|
CREATE DEFINER=`root`@`localhost` PROCEDURE `data`() BEGIN DECLARE i INT DEFAULT 1; DECLARE j INT DEFAULT 0; DECLARE id INT DEFAULT 0; WHILE i < 10 DO WHILE j < 1000000 DO insert into employees_m (emp_no,birth_date,first_name,last_name,gender,hire_date) VALUES ( id,rand_date_string( '1970-01-01' , '1997-01-01' ),rand_string(5),rand_string(5), 'M' ,NOW()); insert into dept_emp_m (emp_no,dept_no,from_date,to_date) values ( id,concat( 'd00' ,i),rand_date_string( '1990-01-01' , '2020-12-31' ), '2020-12-31' ); SET j=j+1; SET id=id+1; END WHILE; SET j = 0; SET i=i+1; END WHILE; END |
插入九百万条数据大概用时:4868s
上面的方式插入数据会很慢,可以将数据插入到内存表,就是将表的存储引擎修改为MEMORY这样就会使用内存去存储数据,会比直接插入到INNODB引擎的表中快很多,只不过就是没有持久化,但是速度贼快,插入一千万条数据大概需要时间: 1227.89s
附录
修改表存储引擎
|
ALTER TABLE dept_emp_m ENGINE=MEMORY; |
调整内存表的大小,修改配置文件
|
[mysqld] max_heap_table_size = 2048M tmp_table_size = 2048M |
以上就是MySQL制作具有千万条测试数据的测试库的方法的详细内容,更多关于MySQL 千万条测试数据的资料请关注开心学习网其它相关文章!
原文链接:https://www.cnblogs.com/lichlaughing/p/14055643.html?utm_source=tuicool&utm_medium=referral
- mysql查看执行计划
- mysql8.0.25.0安装配置(MySQL8.0.23免安装版配置详细教程)
- mysql存储引擎的创建与修改(关于MySQL Memory存储引擎的相关知识)
- linux系统登录mysql数据库(Linux手动部署远程的mysql数据库的方法详解)
- windows下mysql密码重置(Windows10系统下Mysql8.0.13忘记root密码的操作方法)
- mysqldump备份缺点(MySQL5.7 mysqldump备份与恢复的实现)
- mysql意外查不到数据(MySQL 丢失数据的原因及解决)
- mysql事件教程(关于MySQL报警的一次分析处理详解)
- mysql中修改表的字段名(MySQL 使用SQL语句修改表名的实现)
- php7用什么替代mysql(mysqli扩展无法在PHP7下升级问题的解决)
- 用mysql语句写python学生管理系统(Python基于mysql实现学生管理系统)
- mysql各种备份方式(MySQL 逻辑备份与恢复测试的相关总结)
- mysql时间戳和datetime对比(MySQL时间设置注意事项的深入总结)
- mysql数据表实例教程(mysql数据库入门第一步之创建表)
- mysql主从同步失败原因(mysql 主从复制如何跳过报错)
- mysql常用优化方法(理解MySQL查询优化处理过程)
- 重庆旅游攻略(重庆旅游3-4天攻略最佳线路)
- 周杰伦演唱会门票(周杰伦演唱会门票多少钱一张2023)
- 焕然一新 成都轨道集团官方网站改版上线(成都轨道集团官方网站改版上线)
- 成都轨道交通19号线二期全线电通(成都轨道交通19号线二期全线电通)
- 19号线二期全线电通 轨道交通项目最新进展来了(19号线二期全线电通)
- 涉及3条地铁线路 成都这4座轨道交通站点有新名字了(涉及3条地铁线路)
热门推荐
- 微信小程序图片加特效(微信小程序实现可实时改变转速的css3旋转动画实例代码)
- php内存占用分析(PHP基础之输出缓冲区基本概念、原理分析)
- ubuntu设置用户免密码(Ubuntu修改密码及密码复杂度策略设置方法)
- nginx做图片服务器代理(使用nginx动态转换图片大小生成缩略图)
- react usestate实现原理(浅谈react useEffect闭包的坑)
- phpstudy如何部署在linux上(phpstudy linux面板CC防护功能使用教程)
- docker容器运行环境(Docker 清理环境操作)
- html5自定义结构指令(浅析HTML5 meta viewport参数)
- docker怎么创建mysql服务(Docker部署MySQL8集群一主二从的实现步骤)
- sqlserver日志目录是否过大(SQL Server利用sp_spaceused如何查看表记录存在不准确的情况)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9