PHP +mysql 如何执行一个长时间的导出任务？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2193 天前的主题，其中的信息可能已经有所发展或是发生改变。

一个资料筛选和导出任务，涉及多个表，每个表有 10-30 个字段，很多字段会被定制比如省份和城市，可以让用户选择哪个省和哪个城市，如果一次需要导出个十万条，就要执行十万次循环，每次循环执行几十次筛选条件，cpu，
内存，时间什么的都是压力。

怎么写可以实现？

导出

字段

筛选

执行

14 条回复 • 2018-12-01 18:44:44 +08:00

glacer

2018-11-30 11:15:09 +08:00

这个应该是数仓的活

ferock

2018-11-30 11:16:58 +08:00 via iPhone

命令行

orqzsf1

2018-11-30 11:21:21 +08:00

缓存？

aloyuu

2018-11-30 11:23:20 +08:00

最致命的是 PHP 有超时......

teg1c

2018-11-30 11:46:37 +08:00

异步队列处理吧。

oneonesv

2018-11-30 17:21:42 +08:00

php-cli 异步处理

pinews

2018-11-30 18:22:03 +08:00

确定不是黑？

changepll

2018-11-30 18:55:25 +08:00

@pinews 你让我笑出声

pinews

2018-11-30 20:22:14 +08:00

@changepll
@aloyuu
@oneonesv
@ferock 长时间执行可以考虑 set_time_limit(0)，然而这和 php 没关系吧，具体在说什么不知道，若确实程序复杂，可以生成中间表，分批完成。

947211232

2018-11-30 22:47:58 +08:00

方案一：死数据一次写入缓存就够了，往后直接读取缓存

947211232

2018-11-30 22:48:39 +08:00

方案二：死数据写配置文件 json 格式什么都好，能读出来就可以

947211232

2018-11-30 22:50:50 +08:00

方案三：影响 php 性能的尽量找合适的工具、方案，又不是上学时候老师规定只能 php+mysql

gujinxin

2018-12-01 11:55:59 +08:00 via Android

异步队列吧，好了之后把文档存在目录上，给前端推消息，前端点击下载

DylanChou

2018-12-01 18:44:44 +08:00

存储过程？