分布式压缩多个 hdfs 上的文件解决方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2048 天前的主题，其中的信息可能已经有所发展或是发生改变。

现在我在 hdfs 上有一千个文本文件，每个大概 200m-1g，想快速的压缩这些文件上传到 hdfs 上去。在单机用多进程跑了但速度还是没达到理想的要求，想问一下有没有分布式的方法执行这个问题。我们的机器之间 ssh 不通所以 gnu parallel 不行，想了解一下别的有什么解决方案，谢谢。

2 条回复 • 2019-04-23 22:12:21 +08:00

ipwx

2019-04-23 18:46:31 +08:00

Spark. 用 sc.map

billlee

2019-04-23 22:12:21 +08:00

hadoop map reduce