所在的位置: mysql >> mysql前景 >> MySQL80多线程loaddatai

MySQL80多线程loaddatai

刘军连怎么样 https://wapyyk.39.net/doctor/694482_comments.html
loaddatainfile导入一个大的文件到MySQL表中,通常是一个非常耗时的过程,因为处理过程是单线程并且是单事务的,而目前的硬件条件在执行loaddatainfile时,远远没有达到瓶颈。在MySQL8.0.17版本,引入了一个多线程loaddatainfile的功能,该功能实现在MySQLShell工具中,因此需要先安装MySQLShell。下面来对比一下传统单线程loaddatainfile与多线程loaddatainfile两种方式的性能差异有多大。测试环境:4coreCPU8GBRAMSSDDiskCentos7导入的文件load_data.csv,大约8G左右。单线程测试:一共耗时39min35.sec。多线程测试:一共耗时:6min30.sec结果对比:从测试结果上看,单线程耗时39min35.sec,多线程耗时6min30.sec,多线程效率大约是单线程的6倍。多线程loaddatainfile的几个参数:threads,指定线程数bytesPerChunk,每个chunk的大小maxRate,线程每秒能够处理的数据最大限制多线程loaddatainfile内部处理过程:分析要导入的数据文件将大的数据文件分割成数据块(chunk)多线程将数据块导入到MySQL中注:本文译自:mydbops.wordpress.


转载请注明:http://www.aierlanlan.com/cyrz/6268.html

  • 上一篇文章:
  •   
  • 下一篇文章: