安装 Kafka 的机器上一定要有 Zookeeper 吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2795 天前的主题，其中的信息可能已经有所发展或是发生改变。

可不可以有一个 Kafka 的集群

然后一个 Zookeeper 的集群？

然后二者网络互通交换数据？

另外如果一台机器上有数据，一台机器需要读取数据，它们分别向 Kafka 集群生产和消费数据，

是不是只要网络互通就行了，，

消费和生产的机器上可以不用装 Kafka

8 条回复 • 2017-04-17 16:05:21 +08:00

JKeita

2017-04-17 11:53:22 +08:00

最近学了一点点 kafka 的菜鸟，可以分开配置，虽然自己没试过。。。

spider82

2017-04-17 11:59:48 +08:00 via iPhone

显然可以解耦。

as463419014

2017-04-17 12:00:48 +08:00

1.kafka 和 zookeeper 可以不再同一台机器
2.读取和写入数据的机器可以和 kafka 不再同一台机器,也不用在生产者和消费者安装 kafka,但是需要依赖 kafka 的 client 库
3.搭建环境最好对机器配置 host,网络环境最好是内网环境,并封锁对外网的端口

xinyewdz

2017-04-17 13:13:45 +08:00

kafka 是一个中间件，是一个服务。任何机器都可以向它生产数据和消费数据。
zookeeper 是保存 kafka 的 topic 信息和其他配置信息的。也是一个中间件。
生产环境， zookeeper 肯定是需要集群的。

stackboom

2017-04-17 14:03:54 +08:00

Kafka 和 ZooKeeper 可以分离。

iyaozhen

2017-04-17 14:18:42 +08:00 via Android

最佳实践上也是这样。

都是集群，不然没有分布式的优势了

anonymoustian

2017-04-17 14:40:19 +08:00

@xinyewdz 是的但是 kafka 和 zookeeper 还有消费者比如 streaming 这些一般是在一起还是不在一起呢？

解耦怎么样

ayiis

2017-04-17 16:05:21 +08:00

搭过两种
3+3 ，两个独立集群
1+1 ，放一台机器上
生产者和消费者只要能访问 kafka 机器就行