V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cowcomic
V2EX  ›  程序员

LLama3.1 的申请被拒了

  •  
  •   cowcomic · 129 天前 · 5504 次点击
    这是一个创建于 129 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想着还是从 HF 上获取最好,最即时

    结果申请被拒

    经验:国家别写中国

    29 条回复    2024-09-21 15:30:13 +08:00
    Les1ie
        1
    Les1ie  
       129 天前
    Llama3.1 的信息我全部随便填的,秒过,我以为是机器人审核。我以为这是走个过场,没想到这玩意还真会拒的啊,我 Llama2 和 Llama3 我都是随便写的
    zbinlin
        2
    zbinlin  
       129 天前
    从 ollama 上 pull 回来呀
    coefuqin
        3
    coefuqin  
       129 天前
    @zbinlin 有资源能跑起来?
    zbinlin
        4
    zbinlin  
       129 天前
    @coefuqin 没有
    cowcomic
        5
    cowcomic  
    OP
       129 天前
    @Les1ie 我也以为是过场,没想到……

    @zbinlin 断网环境很麻烦,发现魔搭能下
    syx0310
        6
    syx0310  
       129 天前
    申请写美国就直接秒过🤣
    coefuqin
        7
    coefuqin  
       129 天前
    @zbinlin 那 pull 回来有个 der 用...FP16 起码需要 1T 显存...
    ospider
        8
    ospider  
       129 天前
    竟然真的有人写中国,很诚实🤣
    kenvix
        9
    kenvix  
       129 天前
    @ospider #8 涉及学术的习惯署真名了,我之前也碰壁后马上开小号写 usa🤣
    rayae
        10
    rayae  
       129 天前
    一般申请国外的产品/服务我都是填 Hongkong 的
    crackidz
        11
    crackidz  
       129 天前
    国家写中国...你是不知道美国禁运么...
    gulao
        12
    gulao  
       129 天前
    怎么申请求教程
    GeekGao
        13
    GeekGao  
       129 天前
    以后所有的境外服务注册的时候都填写新加坡就没毛病了。
    cowcomic
        14
    cowcomic  
    OP
       129 天前
    @crackidz @ospider 习惯了,很多地方填真实的都可以,就掉以轻心了

    @gulao https://huggingface.co/meta-llama/Meta-Llama-3.1-405B
    进去直接就有填表的按钮

    @GeekGao 是的,我后来用别人的号写的新加坡就过了
    fs418082760
        15
    fs418082760  
       129 天前
    还是 8B 实在,405B 你是啥家庭啊?
    cctvbnm111X1
        16
    cctvbnm111X1  
       129 天前
    8B 还是干不过 glm4 的 9b ,我觉得还是玩玩得 70b 合适
    afxcn
        17
    afxcn  
       129 天前
    这个至少需要什么样的机器才能跑起来?
    keakon
        18
    keakon  
       129 天前
    @afxcn 正常的机器跑不起来,半精度 405B 需要超过 8TB 显存,100 多张 A100 80G ,大概 1 千万人民币吧。
    kenvix
        19
    kenvix  
       129 天前
    @afxcn #17 没楼上说那么恐怖,int4 量化,算上给 KV CACHE 的预留,大概 4 张 A100 80G 。大概是我们实验室全部的硬件资产...

    *推理谁用半精度啊?*

    @keakon 你怎么算出的 8TB ???
    keakon
        20
    keakon  
       129 天前
    @kenvix 算错了,800 GB 。
    cyberscorpio
        21
    cyberscorpio  
       129 天前
    poe 已经上新了
    yinmin
        22
    yinmin  
       129 天前 via Android
    together 、openrouter 都有 405b 了,试用了感觉一般般
    afxcn
        23
    afxcn  
       129 天前
    @keakon @kenvix 谢谢,看来我还玩不起,4 张 A100 也买不起。

    我还是安心写代码好了。
    fcten
        24
    fcten  
       129 天前
    @afxcn 租个 4 卡 A100 也就不到 30 块钱 1 小时而已,想玩玩还是可以的
    6C2S9TtFY2dsP5oM
        25
    6C2S9TtFY2dsP5oM  
       129 天前
    就你老实
    zhutianjingtu
        27
    zhutianjingtu  
       129 天前
    https://ollama.com/

    今天早上刚运行 8b 的,环境 m2 pro 芯片 macbook pro ,速度很快,70b 、408b 对硬件有要求,😂
    cowcomic
        28
    cowcomic  
    OP
       127 天前
    @zhutianjingtu ollama 默认的 8B 的模型好像是量化过的

    @fcten 哪儿能租到 A100 啊?

    @cctvbnm111X1 glm4 的 9B 咋样啊,支持 function call 或者 tool call 么?
    jk2K
        29
    jk2K  
       70 天前
    没看到帖子,结果被拒了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2599 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 03:05 · PVG 11:05 · LAX 19:05 · JFK 22:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.