miraclinger 最近的时间轴更新 miraclinger 最近的时间轴更新 |
miraclingerV2EX 第 157292 号会员，加入于 2016-01-28 15:40:57 +08:00 |
miraclinger 最近回复了
2016-12-23 09:56:52 +08:00 回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
虽然已结贴，但是我还想问下，如果把值调成 5000 ，会出现内存泄露不？因为看了下 github 上的生成器，给我的感觉是一次性导入数据，不知道我有没有看错，如果这样的话，效率会比较低吧。
2016-12-22 19:24:48 +08:00 回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
有个思路是用 linux 的切割命令: split -l 5000 input_file
再就是用多线程对分割的文件 进行批量导入，线程数量最好是 200 个左右
再就是用多线程对分割的文件 进行批量导入，线程数量最好是 200 个左右
2016-12-22 19:23:33 +08:00 回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
有个思路是用 linux 的切割命令: split -l 5000 input_file
再就是用多线程进行批量导入，线程数量最好是 200 个左右
再就是用多线程进行批量导入，线程数量最好是 200 个左右
2016-12-22 18:37:23 +08:00 回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM |
官网给的推荐是 1,000 to 5,000 条数据，文件大小是 5-15MB ， https://www.elastic.co/guide/en/elasticsearch/guide/master/bulk.html
Select Language