mysql大批量数据插入技巧

1、首先我是简单的写了一个mysql的循环插入数据的SP，具体如下：

3、而我创建的是Innodb类型的表，分了128个分区。而我依照以上的方法，设置如下：

5、可以看到时间差不多是1200s左右，因为字段加长了，可能也有影响插入的速度。为了具体验证，就按千万行插入，字段的长度为1000字节，来查看结果，具体的SP和结果如下：

7、再次升级插入的数据量，提升10倍，看插入的时间及占用的内存，字段的字节同样为1000，具体的SP和结果如下：

9、因为创建了索引，在查百万级的数据量时，时间是1秒左右，在数据量上升到千万时，查询1亿5百万时，时间为3Min 30S,再插入1亿数据，查询数据量，时间达到27min 43s,可见，不是线性关系，是几何级增加的。现在描述集群环境的测试集群：32G内存 ，500G硬盘，3台虚拟机也就是3个节点：188.188.2.181（主节点，数据节点和SQL节点）、188.188.2.182（数据节点和SQL节点）和188.188.2.183（数据节点和SQL节点）。/root目录分区磁盘空间200G（原先默认的是50G）、插入的数据量为8000KW，所占磁盘空间为下图