V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
zcbenz
V2EX  ›  分享创造

写了一个语义化本地图片搜索工具

  •  
  •   zcbenz ·
    zcbenz · 73 天前 · 1964 次点击
    这是一个创建于 73 天前的主题,其中的信息可能已经有所发展或是发生改变。
    原理很简单,用 CLIP 模型计算图片的 embedding ,然后和搜索语句的 embedding 进行比较。因为用的是 MLX 来推理模型,所以只有 M 芯片的 mac 能用 GPU 加速,其他平台会很慢。代码全部由 Node.js 实现,embedding 计算用的是自己写的 node-mlx ,没有用第三方的推理引擎和数据库。

    本来是处于学习目的写的程序,但实用性非常强,过来分享一下。

    https://github.com/frost-beta/sisi
    6 条回复    2024-09-16 13:22:07 +08:00
    GeekGao
        1
    GeekGao  
       73 天前
    good. 我没有 M 芯片,所以不知道性能数据。求教一下,如果是数万张 1080x768 以上尺寸的 PNG ,性能如何?
    zcbenz
        2
    zcbenz  
    OP
       73 天前
    1080x768 的话,一天应该能跑完吧。CPU 性能浮动很大,不好估算。
    zcbenz
        3
    zcbenz  
    OP
       73 天前
    一天跑完是指建立索引,搜索应该几秒内能完成。
    hoodjannn
        4
    hoodjannn  
       73 天前
    看起来很不错!明天试试
    andforce
        6
    andforce  
       73 天前 via iPhone
    v 友之前有个手机项目,Quaryable
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5410 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 07:54 · PVG 15:54 · LAX 23:54 · JFK 02:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.