spark(1.6)可以连接 redis 官方原生集群么(redis 3.0.0 以上版本)？
anonymoustian · 2018-03-13 21:25:00 +08:00 · 3913 次点击这是一个创建于 2464 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在 redis 服务器集群是 6 台机器，3 主 3 从，采用的是 Redis 的官方集群方案(slot)。
我想问一下可以直接批量写入 RDD 到 Redis 集群中吗？有没有类似的中间件或者 jar 包，如果写入集群的话，连接的是单点还是集群（多个 IP ）机器？ 是 spark 做 CRC 的分片还是让 Redis 自己来做？
而且 spark 算出的 rdd 数目巨大，是否会有性能上的影响？最好可以批量导入。
有朋友做过类似的开发没，不吝赐教！感谢！
 |
1
kex0916 2018-03-14 09:29:37 +08:00
|
|
2
kex0916 2018-03-14 09:44:31 +08:00
刚刚看了下，这个的 spark 版本有点老，redis 版本 v2.8.12 and v3.0.3，scala2.10 ，可能版本不太合适了
|
 |
3
anonymoustian OP @kex0916 它这上面说 Minimal requirements，我再仔细看看
|
Select Language