这是一个创建于 612 天前的主题，其中的信息可能已经有所发展或是发生改变。
包括硬件和请专业人员的费用。能够喂大量语料，训练后按要求产出相关文字，类似用 nature 论文训练 gpt 产生摘要这种。非个人，公司用，以后可能商业化。
 |
1
qiayue 2023-03-31 15:09:08 +08:00
稍微打击一下，百度这么有钱，也有很强的技术，短时间都搞不定。你们公司完全没这方面经验想要搞定，很难。
|
 |
2
3img 2023-03-31 15:10:11 +08:00
A100 80G 一张十万
|
 |
3
vsitebon 2023-03-31 15:15:15 +08:00
完全自己从零开始训练 GPT
硬件：NVIDIA Tesla A100 40G 售 72000 元（单张），按千来算数量； 其它服务器等成本； 软件：至少三人以上团队开发界面；至少五人以上做深度学习团队； 假设你软硬件都自己来，那估计成本不下亿 |
 |
4
lchynn 2023-03-31 15:31:12 +08:00
中小型公司，还是直接考虑 OPENAI PLUS 吧。 一块 A100 或者 H100 的价格， 估计能用上 1 年的 GPT 4 API 了。
|
 |
5
hutoer 2023-03-31 15:37:28 +08:00
为啥要 A100 、H100 ，A6000 有 48G 显存，才 2.6 万 1 张，也是可以搞搞
|
 |
7
sadfQED2 2023-03-31 15:49:41 +08:00 via Android
调用 openai 接口？参考最近 csdn 那个，基本上一个人就能搞定，月薪两万吧。服务器阿里云乞丐版，200 一个月吧
|
 |
8
winglight2016 2023-03-31 16:15:21 +08:00
现在已经有开源的 llm 版本了，不用 openai 也可以，我可以给你们出方案，硬件能控制在 20w 以内，软件可以忽略，人工的话，初期的话，一个月 10w ，验证通过后的商业化大概 20w 。
这是我能想到最省钱的方案了。 |
|
9
hutoer 2023-03-31 16:27:46 +08:00
@winglight2016 你说的是 OpenChatKit 、LLaMA 、alpaca 这种吧？貌似效果并不好。硬件的话 8 张 A6000 差不多 20W 。即便是拿开源 LLM 微调，想要好的效果，人力的成本也是很大的。
|
 |
11
zsj1029 2023-03-31 17:02:32 +08:00
朋友搞了一套放公司，京东商家的套餐，40 核 intel 配 3 块 4090,内存多大忘记了，不到 10w
|
 |
12
felixlong 2023-03-31 17:17:04 +08:00  3
|
 |
13
Juszoe 2023-03-31 18:21:29 +08:00
听起来只是想微调，买 OpenAI 的服务就行了 https://platform.openai.com/docs/guides/fine-tuning
|
 |
14
huigeer 2023-03-31 18:58:48 +08:00
直接用百度飞桨
|
 |
15
em70 2023-03-31 19:51:43 +08:00
只训练微调系统,7 分钱每小时的阿里云日本抢占式服务器+几十个 openai 账号就够了,每个月 1000 元不到
|
|
16
winglight2016 2023-03-31 21:24:24 +08:00
@hutoer 不是你说的这几个，是这两天刚开源的，我试了一下大概达到 70 、80%的 chatgpt 效果吧，如果自己针对性的训练一下我估计效果会更好
|
 |
18
lrigi 2023-03-31 22:13:35 +08:00
" nature 论文训练 gpt 产生摘要"
这种事情 new bing 和 chatGPT 不是已经完全解决了吗？ 你都不用给他们内容，随便给个论文题目它们就可以说出论文是干嘛的，虽然有可能不准，但直接输入内容完全就可以产生摘要了呀 |
 |
19
BQsummer 2023-03-31 23:36:24 +08:00
我刚想说 OpenAI 的 fine-tuning 也贵呀，https://openai.com/pricing ，$0.0004 / 1K tokens ，十万字中文大概 20w tokens ，训练只要 560 块钱？好像也不贵，用 LLaMA 之类的效果肯定没 OpenAI 好，就是后续使用费用 $0.0016 / 1K tokens ，如果带上下文，就贵了
|
 |
20
swulling 2023-03-31 23:38:58 +08:00
如果是开源模型比如 LLaMA 或者 ChatGLM ，fine-tuning 大概是 8 张 A100 。
但是这两个模型都不允许商用，你要先找到能商用的模型，然后再 fine-tuning 。 |
 |
22
king888 2023-04-01 09:42:14 +08:00
Colossal-AI: 让 AI 大模型更低成本、方便易用、高效扩展。这个开源的分布式 AI 训练组件库能极大的降低文本和图像训练的硬件成本，在消费级硬件上进行大模型训练。个人 AI 时代可能要加速到来了
https://github.com/hpcaitech/ColossalAI |
 |
24
aigonna 2023-04-01 21:04:38 +08:00 via iPhone
8 张 a100 gpu 加你的数据集 跑起来基本跑满。
|
|
25
3img 2023-04-03 14:06:00 +08:00
转自推
================ 金融专用大模型：BloombergGPT 500 亿参数，训练成本超过 1300 万，用 AWS64 台 8xA100 训练 53 天完成核心模型训练。 主要实现问答、新闻头条编写、生成 BQL 等 按青云相同配置价格粗略计算训练成本 1300W+ 然而不能用来炒股，希望做 AI 自动炒股的可以散了 https://arxiv.org/pdf/2303.17564v1.pdf |
Select Language