netcore连什么数据库好（.Net Core导入千万级数据至Mysql的步骤）
时间：2021-10-19 06:55:53 类别：数据库 浏览量：757
netcore连什么数据库好
.Net Core导入千万级数据至Mysql的步骤前期准备
订单测试表
CREATE TABLE `trade` (`id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',`trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',UNIQUE INDEX `id` (`id`),INDEX `trade_no` (`trade_no`))COMMENT='订单'COLLATE='utf8_unicode_ci'ENGINE=InnoDB;测试环境
操作系统：Window 10 专业版
CPU：Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ
内存：16G
MySQL版本：5.7.26
实现方法：
1、单条数据插入
这是最普通的方式，通过循环一条一条的导入数据，这个方式的缺点很明显就是每一次都需要连接一次数据库。
实现代码：
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();//插入10万数据for (var i = 0; i < 100000; i++){//插入var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",Guid.NewGuid().ToString(), "trade_" + (i + 1));var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql;sqlComm.ExecuteNonQuery();sqlComm.Dispose();}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("循环插入方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时：
上面的例子，我们是批量导入10万条数据，需要连接10万次数据库。我们把SQL语句改为1000条拼接为1条，这样就能减少数据库连接，实现代码修改如下：
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();//插入10万数据var sql = new StringBuilder();for (var i = 0; i < 100000; i++){//插入sql.AppendFormat("insert into trade(id,trade_no) values('{0}','{1}');",Guid.NewGuid().ToString(), "trade_" + (i + 1));//合并插入if (i % 1000 == 999){var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql.ToString();sqlComm.ExecuteNonQuery();sqlComm.Dispose();sql.Clear();}}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("循环插入方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时：
通过优化后，原本需要10万次连接数据库，只需连接100次。从最终运行效果看，由于数据库是在同一台服务器，不涉及网络传输，性能提升不明显。
2、合并数据插入
在MySQL同样也支持，通过合并数据来实现批量数据导入。实现代码：
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();//插入10万数据var sql = new StringBuilder();for (var i = 0; i < 100000; i++){if (i % 1000 == 0){sql.Append("insert into trade(id,trade_no) values");}//拼接sql.AppendFormat("('{0}','{1}'),", Guid.NewGuid().ToString(), "trade_" + (i + 1));//一次性插入1000条if (i % 1000 == 999){var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql.ToString().TrimEnd(',');sqlComm.ExecuteNonQuery();sqlComm.Dispose();sql.Clear();}}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("合并数据插入方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时：
通过这种方式插入操作明显能够提高程序的插入效率。虽然第一种方法通过优化后，同样的可以减少数据库连接次数，但第二种方法：合并后日志量(MySQL的binlog和innodb的事务让日志)减少了，降低日志刷盘的数据量和频率，从而提高效率。同时也能减少SQL语句解析的次数，减少网络传输的IO。
3、MySqlBulkLoader插入
MySQLBulkLoader也称为LOAD DATA INFILE，它的原理是从文件读取数据。所以我们需要将我们的数据集保存到文件，然后再从文件里面读取。
实现代码：
//开始时间var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){conn.Open();var table = new DataTable();table.Columns.Add("id", typeof(string));table.Columns.Add("trade_no", typeof(string));//生成10万数据for (var i = 0; i < 100000; i++){if (i % 500000 == 0){table.Rows.Clear();}//记录var row = table.NewRow();row[0] = Guid.NewGuid().ToString();row[1] = "trade_" + (i + 1);table.Rows.Add(row);//50万条一批次插入if (i % 500000 != 499999 && i < (100000 - 1)){continue;}Console.WriteLine("开始插入:" + i);//数据转换为csv格式var tradeCsv = DataTableToCsv(table);var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv";File.WriteAllText(tradeFilePath, tradeCsv);#region 保存至数据库var bulkCopy = new MySqlBulkLoader(conn){FieldTerminator = ",",FieldQuotationCharacter = '"',EscapeCharacter = '"',LineTerminator = "\r\n",FileName = tradeFilePath,NumberOfLinesToSkip = 0,TableName = "trade"};bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());bulkCopy.Load();#endregion}conn.Close();}//完成时间var endTime = DateTime.Now;//耗时var spanTime = endTime - startTime;Console.WriteLine("MySqlBulk方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");10万条测试耗时：
注意：MySQL数据库配置需开启：允许文件导入。配置如下：
secure_file_priv=
性能测试对比
针对上面三种方法，分别测试10万、20万、100万、1000万条数据记录，最终性能入如下：
最后
通过测试数据看，随着数据量的增大，MySqlBulkLoader的方式表现依旧良好，其他方式性能下降比较明显。MySqlBulkLoader的方式完全可以满足我们的需求。
以上就是.Net Core导入千万级数据至Mysql的步骤的详细内容，更多关于导入千万级数据至Mysql的资料请关注其它相关文章！
您可能感兴趣
- mysql的连接池名称如何查看（如何使用mysqladmin获取一个mysql实例当前的TPS和QPS）
- mysql开启事务没有提交（MySQL 事务autocommit自动提交操作）
- mysql 触发器是什么（MySQL触发器的使用）
- Mysql中CONCAT、CONCAT_WS字符串拼接函数
- mysql索引详解及基本用法（Mysql普通索引与唯一索引的选择详析）
- mysql命令输入行在哪（MySQL命令行操作时的编码问题详解）
- docker搭建mysql服务（Docker部署Mysql集群的实现）
- 查看mysql执行计划关键字（带你学习MySQL执行计划）
- mysql 自定义排序
- php7用什么替代mysql（mysqli扩展无法在PHP7下升级问题的解决）
- python 数据库实现学生管理系统（python+mysql实现教务管理系统）
- 深入理解mysql索引（MySQL中冗余和重复索引的区别说明）
- mysql中常用的三种存储引擎的区别（MySQL 存储过程的优缺点分析）
- linuxmysql怎么设置root密码（Linux mysql-5.6如何实现重置root密码）
- mysql缓冲池（详解MySQL中的缓冲池buffer pool）
- mysql 索引怎么实现（Mysql中索引和约束的示例语句）
- 它荣获 中国生态魅力镇 称号 就在咱们禹州，一起来看看（中国生态魅力镇）
- 真牛 禹州将建成中等城市（禹州将建成中等城市）
- 被骂欺师灭祖，与郭德纲公开叫板，何云伟改名何沄伟，开始画画了（与郭德纲公开叫板）
- 相声转行影帝，被何晴抛弃，甩10年女友闪婚生子，刘威不靠谱情史（相声转行影帝被何晴抛弃）
- 岳云鹏不说相声，改行演员了 网友 快回来说相声（岳云鹏不说相声）
- 乔欣首演古装大女主，颜值演技双在线（乔欣首演古装大女主）
热门推荐
- sql数据库语言的两种使用方式（通过使用正确的search arguments来提高SQL Server数据库的性能）
- python3列表的使用教程（对Python3 pyc 文件的使用详解）
- python中列表remove的用法汇总（对python_discover方法遍历所有执行的用例详解）
- laravel自动分解大任务（Laravel如何实现自动加载类）
- oracle中decode函数
- jQuery给动态添加的元素绑定事件
- js判断对象是否存在
- reactnative动态设置值（react native实现监控手势上下拉动效果）
- python里面的time如何用（详解python：time模块用法）
- 从零开始学activemq（ActiveMQ:使用Python访问ActiveMQ的方法）
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9