MySQL

MySQL如何快速插入千万级大数据？

参考答案：

在MySQL中快速插入千万级大数据通常涉及多个策略和优化手段。以下是一些建议，以帮助你更有效地执行大批量数据插入：

禁用索引和外键检查：在插入大量数据之前，暂时禁用相关的索引和外键检查。完成数据插入后再重建它们。这可以大大提高插入速度。

ALTER TABLE your_table_name DISABLE KEYS;
ALTER TABLE your_table_name DROP FOREIGN KEY fk_name;

-- 插入数据

ALTER TABLE your_table_name ENABLE KEYS;
ALTER TABLE your_table_name ADD FOREIGN KEY (column_name) REFERENCES another_table(another_column);

使用LOAD DATA INFILE：这是MySQL中用于从文本文件导入数据的最快方法。它通常比使用多个INSERT语句快得多。

LOAD DATA INFILE '/path/to/your/data.csv'
INTO TABLE your_table_name
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;  -- 如果你的CSV文件有标题行

调整bulk_insert_buffer_size：增加bulk_insert_buffer_size的值可以帮助加速INSERT ... SELECT，INSERT ... VALUES()和LOAD DATA INFILE语句的执行。

SET GLOBAL bulk_insert_buffer_size = 1024 * 1024 * 256;  -- 设置为256MB

优化事务：如果你使用的是事务型存储引擎（如InnoDB），则尝试将多个INSERT语句组合到一个事务中，以减少磁盘I/O和提交事务的次数。
调整innodb_flush_log_at_trx_commit：将innodb_flush_log_at_trx_commit设置为2或0可以减少磁盘I/O，从而提高插入速度。但请注意，这可能会影响到数据的持久性。

SET GLOBAL innodb_flush_log_at_trx_commit = 2;

优化硬件和存储：确保你的磁盘有足够的I/O性能，考虑使用SSD。此外，使用innodb_file_per_table选项可以为每个表创建单独的表空间，这有助于减少I/O争用。
分批插入：如果你不能一次性插入所有数据，考虑将数据分成多个批次，并使用多线程或多进程来并行插入。
使用INSERT DELAYED：对于MyISAM表，INSERT DELAYED可以将INSERT语句放入队列，然后立即返回，而不必等待插入完成。但请注意，这个选项在MySQL 8.0及更高版本中已被弃用。
考虑使用其他工具：有一些第三方工具，如Percona Toolkit的pt-online-schema-change，可以帮助你在不锁定表的情况下快速插入数据。