想本地部署 AI 大模型,主要用于 AI 问答聊天,电脑配置需要什么样的,总预算 1w5 以内

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 248 天前的主题，其中的信息可能已经有所发展或是发生改变。

包含显卡,cpu,主板,内存条,散热,电源,固态等

2 条回复 • 2024-04-08 10:22:10 +08:00

gneko

247 天前 via iPhone

内存显存越大越好，这两项是决定你能不能跑起来的东西，其次才是 CPU 和 GPU 的计算频率。

借楼问一下，本地大模型有什么推荐吗？我用 ollama 跑几个官网上的模型，效果实在有点惨不忍睹😂

ZnductR0MjHvjRQ3

247 天前

1.5 就算了吧 7b 和弱智一样最低预算 3w