V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
AuYuHui
V2EX  ›  问与答

大佬们 stable-diffusion-webui API 文生图怎么多人同时画图

  •  
  •   AuYuHui · 2023-05-24 22:37:09 +08:00 · 2246 次点击
    这是一个创建于 553 天前的主题,其中的信息可能已经有所发展或是发生改变。

    多人使用时不需要排队,是否可以支持,要设置什么参数之类的吗

    6 条回复    2023-08-11 11:37:00 +08:00
    gzlock
        1
    gzlock  
       2023-05-25 00:11:27 +08:00
    可以试试秋叶启动器里有一个停用 gradio 内置队列的选项
    但是禁用队列后我有疑问就是,如果用户 A 在用大模型 A 在出图中,而用户 B 这时候选择大模型 B 出图,那大模型 A 和 B 是不是都需要加载到显存里?那再来一个用户 C 选择大模型 C 呢?
    没有队列后,是不是显存就需要无穷大了?
    lzghades
        2
    lzghades  
       2023-05-25 08:43:24 +08:00
    不用队列应该不行,多个用户同时画图的话,显存应该不够。
    jifengg
        3
    jifengg  
       2023-05-25 09:39:07 +08:00
    单机应该不行,本来一个任务就全力跑了,不排队的话大家都慢。
    如果 api 有可以获取队列信息话,可以考虑在它前面套一个自己维护的负载,webui 部署多台机器,自己做任务分配。
    hyperzlib
        4
    hyperzlib  
       2023-05-25 13:30:52 +08:00
    多进程队列,我现在就是这么做的。不同进程可以加载不同的模型。
    dabingbing
        5
    dabingbing  
       2023-08-05 16:36:50 +08:00
    @hyperzlib 你好,你的方案需要魔改吗?
    hyperzlib
        6
    hyperzlib  
       2023-08-11 11:37:00 +08:00
    @dabingbing 不用,启动参数可以指定加载的模型和端口,不同模型开在不同端口上就行了。然后自己写一个调度中间件。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3415 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 11:25 · PVG 19:25 · LAX 03:25 · JFK 06:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.