一个 24 小时运行的，抓取一些体育比赛数据的爬虫，用 RABBITMQ 好还是 KAFKA 好
jakeyfly · 2018-11-29 16:29:02 +08:00 · 1957 次点击这是一个创建于 2191 天前的主题，其中的信息可能已经有所发展或是发生改变。
作为中间管道连接爬虫与清洗模块。 不同的数据会由不同的清洗模块处理后存入 SQL。
估计抓个一年也就不到 2G 的数据。但爬虫的请求数据次数还是比较多的，一分钟可能有个几百次吧（这样往管道里塞的数据也是几百次吧）
这样的规模，为了能持续运行，应该是要选个可以持久化的管道吧
KAFKA 与 RABBITMQ 那个适合呢
 |
1
roricon 2018-11-29 16:39:50 +08:00  1
RabbitMQ 足够，完全没必要上 Kafka。但如果寻求便宜且稳定的服务，其实买各种云的消息服务我觉得是比较好的方案。AWS 和腾讯云的消息队列服务都有每月的免费额度，超过免费额度价格也不贵。
Kafka 对硬件（主要是内存）要求很高，即使是很低的负载也很难稳定的运行在低端的 VPS 上。而且还要搞 zookeeper，上手维护的学习成本还挺高的。 RabbitMQ 对于这样的负载肯定是足够了，而且管理工具什么的也比 Kafka 生态的工具对用户友好一些。 |
Select Language