V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
zuiluo
V2EX  ›  问与答

如何快速压缩 40T 的图片

  •  
  •   zuiluo · 2020-09-15 15:50:24 +08:00 · 1886 次点击
    这是一个创建于 1537 天前的主题,其中的信息可能已经有所发展或是发生改变。
    40T 图片都在 aliyun OSS 上,想把这 40T 都压缩一遍,绝大部分图片都在少数几个文件夹内,目前方案相当龟速。。

    有什么好的策略推荐的么
    第 1 条附言  ·  2020-09-16 09:07:29 +08:00
    不好意思,第一次没说清楚,这里的压缩是指,逐一对图片进行单独压缩,节省空间。
    11 条回复    2020-09-16 09:16:22 +08:00
    shoaly
        1
    shoaly  
       2020-09-15 18:36:42 +08:00
    直接将 oos 挂在一台主机上面 然后搞个命令行的多线程压缩软件就可以开撸了
    dtgxx
        2
    dtgxx  
       2020-09-15 18:42:14 +08:00
    压缩之后,未来 lz 还会发个帖子:如何快速解压被压缩的 40T 图片
    des
        3
    des  
       2020-09-15 18:44:33 +08:00
    aliyun 提工单 ✅
    自己瞎搞 ❎

    40T 不是个小数目了,光你下载下来就要很久了,就别说压缩了
    如果是用 oss 提供的压缩 api 的话,估计也得花不少钱
    最后还是建议提工单问问
    lower
        4
    lower  
       2020-09-15 18:53:48 +08:00
    好奇楼主为啥要压缩?
    是费用贵还是要 down 下来?
    weak
        5
    weak  
       2020-09-15 22:05:54 +08:00 via Android
    提工单,叫阿里云拷贝一下,快递到你家,拿一台 128 线程的服务器,开机几天压缩一下,再快递回阿里云
    shakoon
        6
    shakoon  
       2020-09-15 23:21:22 +08:00
    需求描述明显有歧义。是需要逐一对图片进行压缩以减少单个文件的大小并保证文件继续可用,还是将其使用压缩工具整体打包以进行归档或者迁移?
    undeflife
        7
    undeflife  
       2020-09-15 23:48:43 +08:00
    oss 支持 url 加处理参数访问来节约流量 为啥还要自己压缩?本身 oss 的存储成本算低的
    压缩质量不要求精确的话 可以类似 img@100w_100h_90Q.jpg 带处理参数的爬一边然后再上传
    nolo
        8
    nolo  
       2020-09-16 00:29:58 +08:00 via iPhone
    函数计算
    kangsheng9527
        9
    kangsheng9527  
       2020-09-16 00:49:22 +08:00
    没必要压缩啊,,,直接租用一台 50Tb 以上服务器备份即可。。。压缩浪费时间。。。省不了多少空间。
    em70
        10
    em70  
       2020-09-16 00:54:45 +08:00
    @undeflife #7 +1 ,oss 自带图片处理服务,输出的时候可以压缩,剪裁,水印,旋转,速度极快,用户无感知,且几乎免费,没有任何必要压缩原始图片,除非想节约空间储存费用
    zuiluo
        11
    zuiluo  
    OP
       2020-09-16 09:16:22 +08:00
    为什么要弄这个需求,因为空间占用高,每个月花费大几千。上面有人说到了使用 OSS 的 api 压缩,这个图片处理也是花钱的,每个月也花大几千。所以。。。


    再加上最近没什么事情吧,帮公司省点钱也是挺好的。


    我目前的方案,使用一台服务器走内网下载(内网下载上传都是不花钱的 2333),先统计到数据库,对图像数据集先做归类,宽高大小,方便后面调用( OSS 自带的 API 查询真的是太简单了)

    记录到库之后,再逐一对图片进行压缩,将原图备份,压缩图替换。

    这里唯一难点就速度问题,目前备份统计已经开了几十个线程同时跑,内网带宽拉满的情况下,估计还要跑好几天才能跑完,不过对时间不是很紧急,批处理程序调试稳定之后让他挂着跑就好了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2611 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 04:13 · PVG 12:13 · LAX 20:13 · JFK 23:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.