netcore连什么数据库好(.Net Core导入千万级数据至Mysql的步骤)
netcore连什么数据库好
.Net Core导入千万级数据至Mysql的步骤前期准备
订单测试表
CREATE TABLE `trade` (`id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',`trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',UNIQUE INDEX `id` (`id`),INDEX `trade_no` (`trade_no`))COMMENT='订单'COLLATE='utf8_unicode_ci'ENGINE=InnoDB;测试环境
操作系统:Window 10 专业版
CPU:Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ
内存:16G
MySQL版本:5.7.26
实现方法:
1、单条数据插入
这是最普通的方式,通过循环一条一条的导入数据,这个方式的缺点很明显就是每一次都需要连接一次数据库。
实现代码:
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();//插入10万数据for (var i = 0; i < 100000; i++){//插入var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",Guid.NewGuid().ToString(), "trade_" + (i + 1));var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql;sqlComm.ExecuteNonQuery();sqlComm.Dispose();}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("循环插入方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时:
上面的例子,我们是批量导入10万条数据,需要连接10万次数据库。我们把SQL语句改为1000条拼接为1条,这样就能减少数据库连接,实现代码修改如下:
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();//插入10万数据var sql = new StringBuilder();for (var i = 0; i < 100000; i++){//插入sql.AppendFormat("insert into trade(id,trade_no) values('{0}','{1}');",Guid.NewGuid().ToString(), "trade_" + (i + 1));//合并插入if (i % 1000 == 999){var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql.ToString();sqlComm.ExecuteNonQuery();sqlComm.Dispose();sql.Clear();}}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("循环插入方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时:
通过优化后,原本需要10万次连接数据库,只需连接100次。从最终运行效果看,由于数据库是在同一台服务器,不涉及网络传输,性能提升不明显。
2、合并数据插入
在MySQL同样也支持,通过合并数据来实现批量数据导入。实现代码:
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();//插入10万数据var sql = new StringBuilder();for (var i = 0; i < 100000; i++){if (i % 1000 == 0){sql.Append("insert into trade(id,trade_no) values");}//拼接sql.AppendFormat("('{0}','{1}'),", Guid.NewGuid().ToString(), "trade_" + (i + 1));//一次性插入1000条if (i % 1000 == 999){var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql.ToString().TrimEnd(',');sqlComm.ExecuteNonQuery();sqlComm.Dispose();sql.Clear();}}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("合并数据插入方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时:
通过这种方式插入操作明显能够提高程序的插入效率。虽然第一种方法通过优化后,同样的可以减少数据库连接次数,但第二种方法:合并后日志量(MySQL的binlog和innodb的事务让日志)减少了,降低日志刷盘的数据量和频率,从而提高效率。同时也能减少SQL语句解析的次数,减少网络传输的IO。
3、MySqlBulkLoader插入
MySQLBulkLoader也称为LOAD DATA INFILE,它的原理是从文件读取数据。所以我们需要将我们的数据集保存到文件,然后再从文件里面读取。
实现代码:
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();var table = new DataTable();table.Columns.Add("id", typeof(string));table.Columns.Add("trade_no", typeof(string));//生成10万数据for (var i = 0; i < 100000; i++){if (i % 500000 == 0){table.Rows.Clear();}//记录var row = table.NewRow();row[0] = Guid.NewGuid().ToString();row[1] = "trade_" + (i + 1);table.Rows.Add(row);//50万条一批次插入if (i % 500000 != 499999 && i < (100000 - 1)){continue;}Console.WriteLine("开始插入:" + i);//数据转换为csv格式var tradeCsv = DataTableToCsv(table);var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv";File.WriteAllText(tradeFilePath, tradeCsv);#region 保存至数据库var bulkCopy = new MySqlBulkLoader(conn){FieldTerminator = ",",FieldQuotationCharacter = '"',EscapeCharacter = '"',LineTerminator = "\r\n",FileName = tradeFilePath,NumberOfLinesToSkip = 0,TableName = "trade"};bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());bulkCopy.Load();#endregion}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("MySqlBulk方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时:
注意:MySQL数据库配置需开启:允许文件导入。配置如下:
secure_file_priv=
性能测试对比
针对上面三种方法,分别测试10万、20万、100万、1000万条数据记录,最终性能入如下:
最后
通过测试数据看,随着数据量的增大,MySqlBulkLoader的方式表现依旧良好,其他方式性能下降比较明显。MySqlBulkLoader的方式完全可以满足我们的需求。
以上就是.Net Core导入千万级数据至Mysql的步骤的详细内容,更多关于导入千万级数据至Mysql的资料请关注其它相关文章!
您可能感兴趣
- 停止mysql服务命令(windows下实现定时重启Apache与MySQL方法)
- MySQL与Oracle数据类型对应关系
- 了解mysql数据自动备份(MySQL数据备份方法的选择与思考)
- mysql xml转换json(Mysql将查询结果集转换为JSON数据的实例代码)
- mysql索引失效的几种情况(Mysql 5.6 "隐式转换"导致的索引失效和数据不准确的问题)
- docker运行redis并操作(Docker安装MySQL和Redis的方法步骤)
- mysql 排序源码(MySQL排序原理和案例详析)
- mysql查询性能优化详解(实例讲解MySQL 慢查询)
- 如何查看mysql慢查询日志(MySQL慢查询如何定位详解)
- mysql全表查询如何优化(MySQL 分组查询的优化方法)
- python和mysql实战(由Python编写的MySQL管理工具代码实例)
- mysql常用的sql语句大全(mysql建表常用的sql语句汇总)
- mysql开启事务没有提交(MySQL 事务autocommit自动提交操作)
- pythonmysql使用教程(Python异步操作MySQL示例使用aiomysql)
- redhat6.5安装mysql(Redhat7.3安装MySQL8.0.22的详细教程二进制安装)
- SQL SERVER与MySQL数据类型的对应关系
- 荣耀手表 GS 3 真机亮相 不支持无线充电(荣耀手表GS3)
- 通过体温就能为智能手表充电 原来是用NASA在空间站用的黑科技(通过体温就能为智能手表充电)
- 智能手表兼容Windows和Android 无需充电挑战苹果(智能手表兼容Windows和Android)
- 一天一冲也算表 麦步,一款待机 21 天的智能手表体验评测(一天一冲也算表)
- 魅族智能手表充电座曝光 Type-C 接口,线座分离设计(魅族智能手表充电座曝光)
- 华为 Watch GT2 Pro 智能手表曝光,新增支持无线充电(华为WatchGT2)
热门推荐
- docker镜像大是否会导致启动慢(docker下载镜像太慢的解决方案)
- wampserver安装报错(安装wampserver提示丢失MSVCR100.dll的解决方法)
- react和antd管理系统(手把手教你从零开始react+antd搭建项目)
- js编写简单网页计算器(js实现网页计算器)
- python random函数在哪个包(Python3.5内置模块之random模块用法实例分析)
- linux查看负载命令(在Linux命令行中使用计算器的5个命令详解)
- mysql的复制原理(浅析MySQL的WriteSet并行复制)
- reactnative混合开发教程(教你使用vscode 搭建react-native开发环境)
- sql server怎么导出数据库(sqlserver复制数据库的方法步骤图文)
- thinkphp标签详解(thinkphp整合系列之极验滑动验证码geetest功能)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9