V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cowarder
V2EX  ›  硬件

想配一台双 2080ti 电脑跑深度学习,这个配置有没有槽点呢各位老哥们

  •  
  •   cowarder · 2020-06-18 08:49:59 +08:00 · 6880 次点击
    这是一个创建于 1627 天前的主题,其中的信息可能已经有所发展或是发生改变。

    CPU:英特尔( Intel ) i9-10900X 酷睿十核 盒装 CPU 处理器 GPU:技嘉(GIGABYTE)GeForce RTX 2080Ti GAMING OC 1665-1650MHz 14000MHz 352bit GDDR6 11G 电竞游戏显卡 X2 内存条:金士顿(Kingston) DDR4 2666 16GB 台式机内存条 X4 水冷:九州风神( DEEPCOOL ) 水元素 240RGB CPU 水冷散热器(泄压冷排 /RGB 风扇 /支持 I9 2066 、AM4/静音) 固态:三星( SAMSUNG ) 1TB SSD 固态硬盘 M.2 接口(NVMe 协议) 970 PRO ( MZ-V7P1T0BW ) 电源:美商海盗船 (USCORSAIR) AX1600i 1600W 电脑电源(全模组数字 /80PLUS 钛金认证 /十年质保) 硬盘:希捷(Seagate)6TB 256MB 5400RPM 台式机机械硬盘 SATA 接口 希捷酷鱼 BarraCuda 系列(ST6000DM003) 主板:华硕( ASUS ) PRIME X299-A 主板 ( Intel X299/LGA 2066 ) 机箱:美商海盗船 (USCORSAIR) 780T 黑色 全塔机箱(侧透 /支持 E-ATX 主板 /3 速风量调节 /4 组水冷位 /35CM 显卡)

    62 条回复    2020-06-19 12:19:01 +08:00
    murmur
        1
    murmur  
       2020-06-18 08:55:38 +08:00
    看着真难受,水冷上个 360 的,这么牛逼的 u 散热器就不要吝啬了
    malusama
        2
    malusama  
       2020-06-18 08:59:06 +08:00
    老哥排一下格式啊, 要不然上图片
    kop1989
        3
    kop1989  
       2020-06-18 08:59:20 +08:00
    这个硬盘是个叠瓦盘吧
    cowarder
        4
    cowarder  
    OP
       2020-06-18 09:04:49 +08:00
    CPU:英特尔( Intel ) i9-10900X 酷睿十核 盒装 CPU 处理器

    GPU:技嘉(GIGABYTE)GeForce RTX 2080Ti GAMING OC 1665-1650MHz 14000MHz 352bit GDDR6 11G 电竞游戏显卡 X2

    内存条:金士顿(Kingston) DDR4 2666 16GB 台式机内存条 X4

    水冷:九州风神( DEEPCOOL )水元素 360RGB CPU 水冷散热器(一体式水冷 /静音 /3 个 RGB 风扇 /稳压 I9/标配硅脂)

    固态:三星( SAMSUNG ) 1TB SSD 固态硬盘 M.2 接口(NVMe 协议) 970 PRO ( MZ-V7P1T0BW )

    电源:美商海盗船 (USCORSAIR) AX1600i 1600W 电脑电源(全模组数字 /80PLUS 钛金认证 /十年质保)

    硬盘:希捷(Seagate)6TB 256MB 5400RPM 台式机机械硬盘 SATA 接口 希捷酷鱼 BarraCuda 系列(ST6000DM003)

    主板:华硕( ASUS ) PRIME X299-A 主板 ( Intel X299/LGA 2066 )

    机箱:美商海盗船 (USCORSAIR) 780T 黑色 全塔机箱(侧透 /支持 E-ATX 主板 /3 速风量调节 /4 组水冷位 /35CM 显卡)
    cowarder
        5
    cowarder  
    OP
       2020-06-18 09:05:22 +08:00
    @murmur 感谢老哥意见,已经换了新的,看看这个行不行
    cowarder
        6
    cowarder  
    OP
       2020-06-18 09:05:45 +08:00
    @malusama 重新排了,没注意不好意思,在下面的评论里
    cowarder
        7
    cowarder  
    OP
       2020-06-18 09:06:06 +08:00
    @kop1989 怎么了老哥,这个不行吗硬盘
    murmur
        8
    murmur  
       2020-06-18 09:08:33 +08:00
    @cowarder 叠瓦盘便宜,但是读写并发的时候性能会很差,如果做仓库盘无所谓,做工作盘就很难受
    cowarder
        9
    cowarder  
    OP
       2020-06-18 09:09:19 +08:00
    懂得老哥们,这一套配起来能不能用,有没有明显的两个配件不匹配的问题呢,就怕买回来组装不起来哈哈
    Porphet
        10
    Porphet  
       2020-06-18 09:13:46 +08:00   ❤️ 1
    自用的服务器?还是实验室里的?

    CPU 可以不用上这么好的,GPU 还是换显存大一些的吧,我觉得至少 24g 以上
    niubee1
        11
    niubee1  
       2020-06-18 09:14:28 +08:00
    会不会最终大部分时间还是拿来游戏了?
    cowarder
        12
    cowarder  
    OP
       2020-06-18 09:15:47 +08:00
    @Porphet 实验室里面用的,大约三四个人用吧
    cowarder
        13
    cowarder  
    OP
       2020-06-18 09:16:23 +08:00
    @niubee1 哈哈,不会的, 我不玩游戏的老哥,实验室除了我也都是妹子
    cowarder
        14
    cowarder  
    OP
       2020-06-18 09:17:10 +08:00
    老哥们,给个意见,这个能用着不,没啥硬性问题我今天就要买了,正好搞活动经费够
    murmur
        15
    murmur  
       2020-06-18 09:18:59 +08:00   ❤️ 1
    @Porphet testla v100,这卡一张四万到六万块,主要优化在(据说稳定性)、并行性能、功耗

    如果不爆显存的话

    在 FP 32 单精度训练上,Titan RTX 平均:

    比 RTX 2080Ti 快 8%;
    比 GTX 1080Ti 快 46.8%;
    比 Titan Xp 快 31.4%;
    比 Titan V 快 4%;
    比 Tesla V100 ( 32 GB )慢 13.7%。

    这是网上评测结果,所以说 2080ti 性价比是最高
    Merlini
        16
    Merlini  
       2020-06-18 09:20:42 +08:00 via Android
    不建议在本地跑大模型。原因有几个:
    1. 2080ti 本身也不是很强力,训练需要的时间很长。再比如说你要 fine tuning 一个 Bert,显存就要 12G,要求太高了。
    2. 在训练的时候,gpu 负载很高,如果你要顺便干别的事情,不方便或者卡。
    3. 现在 colab 的免费 gpu 都 k80 了,还是可以用一用的,弄个鼠标连点器,然后设置一下训练保存这些。
    4. cloud computing 是未来。
    cowarder
        17
    cowarder  
    OP
       2020-06-18 09:23:52 +08:00
    @murmur 老哥,你上眼看看我这一套能用吗,不存在型号不匹配的问题吧,能用我就先买了,后面升级再换,反正是经费
    Porphet
        18
    Porphet  
       2020-06-18 09:27:00 +08:00   ❤️ 2
    @murmur 嗯,参数上看是最优选择。但是实际用起来,11g 的显存经常会爆的,尤其是用预训练模型( NLP 任务)。

    任务都跑不起来,何谈其他。

    用 pytorch 可以将一个模型分布在两个 gpu 上,但是写起来限制也挺多的。比如,需要人为把模型分开,强行分成两个模型。这样码代码的工作量就会很大,时间都浪费在改代码上,我现在的情况就是这样,很难受

    我现在用 TitanV*2,但是肯定不够用,下一步实验室要换 RTX8000,哈哈
    murmur
        19
    murmur  
       2020-06-18 09:28:05 +08:00
    @cowarder 我大概看了一下没问题,不过这么高端的平台我没装过。。
    Merlini
        20
    Merlini  
       2020-06-18 09:28:16 +08:00 via Android   ❤️ 1
    当然也不是说不能用,不过如果是比较专业的,以发论文打比赛为主的,还是不建议。
    楼主说是多人用的,那么就会遇到其他人在跑模型的时候,另外一些人就得等了。况且很多时候不是跑一次就行,得调参吧。
    还有一个情况是,现在的模型都被大公司带跑偏了,都是大的不行。比如说 NLP 领域最近新出的 GPT3,参数就有 175B 。如果以后这种模型越来越多的话,硬件会跟不上。
    你说可以有模型压缩加速这些方法呀。这个领域目前还在研究阶段,做的比较成熟的就是 mobilenet,distillbert 那些。没有到大规模应用的时候。
    madeye
        21
    madeye  
       2020-06-18 09:28:48 +08:00
    不如做个等等党,新卡九月份就来了哦,BF16 TF32 这些新特性对于训练爆显存问题有奇效。

    https://devblogs.nvidia.com/nvidia-ampere-architecture-in-depth/
    czwstc
        22
    czwstc  
       2020-06-18 09:29:04 +08:00 via iPhone
    @cowarder 看了下问题不大,rich 。我都是采购二手服务器的。
    没啥坑,就是长得比较酷不够稳重。槽点就是消费级显卡不能装 windows server 。
    买吧..记得开个箱。
    cowarder
        23
    cowarder  
    OP
       2020-06-18 09:33:08 +08:00
    @czwstc 感谢老哥
    cowarder
        24
    cowarder  
    OP
       2020-06-18 09:33:21 +08:00
    @murmur 感谢老哥意见
    cowarder
        25
    cowarder  
    OP
       2020-06-18 09:34:55 +08:00
    老哥们的意见都很好哈,感谢感谢,但是情况是,实验室就给了这么点钱,当然都知道更好的卡性能更好呢,但是手头紧不是,现实情况它不允许哈哈
    hugedata
        26
    hugedata  
       2020-06-18 09:51:44 +08:00
    如果配好之后用不了(性能不够跑不起来)或者用着不爽(没有办法并行多个模型训练任务),能不能五千包邮卖给我?/doge
    joyhub2140
        27
    joyhub2140  
       2020-06-18 10:10:09 +08:00 via Android
    我想问一下,这一套下来要多少钱
    murmur
        28
    murmur  
       2020-06-18 10:13:51 +08:00
    @joyhub2140 三万块钱
    murmur
        29
    murmur  
       2020-06-18 10:18:01 +08:00
    2080ti 今天打特价 8500 一张 板 u 套装加起来 5500 这些就两万二了 其余的看着奢华也不是极品 三万怎么也下来了
    如果是龙神 360 水冷 太阳神机箱 那档次就不一样了
    FaceBug
        30
    FaceBug  
       2020-06-18 10:42:13 +08:00
    买这么贵的机箱,还说实验室没有钱,哈哈哈
    coderluan
        31
    coderluan  
       2020-06-18 11:03:28 +08:00
    二手 RTX6000/8000 楼主有兴趣吗 去年十月自己创业买的 因为疫情熬不住了 打算 6 折出了 可以开票.
    gadsavesme
        32
    gadsavesme  
       2020-06-18 11:40:03 +08:00
    能不能跑深度学习我不清楚,但这个配置去打游戏是真的很爽(狗头)
    xuehaihang
        33
    xuehaihang  
       2020-06-18 11:57:27 +08:00
    2080ti 支持半精度 fp16 训练,显存占用远小于 fp32,自用性价比挺高了,实验室用,这卡数,这内存都不太给力呀
    ShallowAi
        34
    ShallowAi  
       2020-06-18 11:58:45 +08:00 via Android
    这么高预算就不要用金士顿内存了 换英睿达普条 16Gx4

    硬盘 6TB 应该上企业级的希捷银河 酷鱼是叠瓦盘


    如果 CPU 没有强制要求考虑一下 AMD
    niubee1
        35
    niubee1  
       2020-06-18 12:17:08 +08:00   ❤️ 1
    @cowarder 哈哈,明了,有妹子可以玩
    cowarder
        36
    cowarder  
    OP
       2020-06-18 14:05:09 +08:00
    @ShallowAi 金士顿比较熟悉就买了,我看看你说的这个。之前看了希捷,我们是在京东慧采里面采购的,没有 6t 以上的,看了一些资料,AMD 好像对 ubuntu 支持不好?佩的电脑是 ubuntu 系统的
    kokutou
        37
    kokutou  
       2020-06-18 14:09:32 +08:00
    6t 希捷,你选的那个型号是 smr 叠瓦盘。。。换一个吧。
    比如日立 hc320
    ETiV
        38
    ETiV  
       2020-06-18 14:11:02 +08:00 via iPhone
    我想到个押韵的:

    买前深度学习,买后每晚吃鸡
    cowarder
        39
    cowarder  
    OP
       2020-06-18 14:52:40 +08:00
    @ETiV 真实,哈哈哈,但是不玩游戏的
    cowarder
        40
    cowarder  
    OP
       2020-06-18 14:52:52 +08:00
    @kokutou 好的,谢谢
    littleghosty
        41
    littleghosty  
       2020-06-18 15:03:35 +08:00
    有钱,我也想双路学习下 steam 和 epic
    systemcall
        42
    systemcall  
       2020-06-18 15:17:09 +08:00 via Android
    机箱缩一下,散热换 360 水冷或者阿萨辛那样的大的风冷,多装风扇,装满都可以
    深度学习的电脑又不放在桌子上看,没必要那么讲究外观和静音,外观和静音舍弃掉,堆散热,这样好得多
    cowarder
        43
    cowarder  
    OP
       2020-06-18 15:19:13 +08:00
    @systemcall 静音还是要的,放在桌子地下的,要不太响,反正预算那么多,不如买个好看点的哈哈
    systemcall
        44
    systemcall  
       2020-06-18 15:19:50 +08:00 via Android
    @littleghosty 现在没多少游戏还做双路显卡的优化了,而且不是流行显卡侧装吗?那样就只能装一个显卡了
    abcdabcd987
        45
    abcdabcd987  
       2020-06-18 15:24:20 +08:00
    2 月份的时候装了一台 TITAN RTX *2 + EPYC Rome
    现在完全闲置……
    futou
        46
    futou  
       2020-06-18 15:26:22 +08:00   ❤️ 1
    自己出钱?
    如果不是,先确定是否要走竞价或采购平台。
    还有你组装出了问题就是你的原因。建议多花个 10%左右找个代理。

    如果自己掏腰包就另当别论了。
    abcdabcd987
        47
    abcdabcd987  
       2020-06-18 15:28:56 +08:00
    当时装机完成之后先装了个 Windows 玩,然后发现访问大部分网站最多只有 10MB/s 的学校网络,Steam 下载速度能达到 80MB/s,看来学校网络还是更适合打游戏(误)

    futou
        48
    futou  
       2020-06-18 15:29:03 +08:00
    @abcdabcd987 没用鞋盒当机箱,差评
    abcdabcd987
        49
    abcdabcd987  
       2020-06-18 15:32:09 +08:00
    @futou 赞同,我觉得公家采购还是找个有服务的中间商比较好,省得出了问题自己维护。我这台机子自己装的就出了好多问题,比如有一条内存条老是消失(后来发现是机箱上有一个多余的螺母顶到了主板),比如摸一下机箱就会重启(到现在愣是没有查出来哪里接地有问题)……让中间商赚个差价,出了问题就打电话叫人来解决就好了,也不用担心自己维修会不会弄坏。
    screen
        50
    screen  
       2020-06-18 15:51:05 +08:00 via iPhone
    @cowarder 划重点
    nmecury
        51
    nmecury  
       2020-06-18 17:53:28 +08:00
    看你做什么任务吧,有些任务还是很耗 CPU 的,建议上一个好一点的 CPU,内存槽多一点的主板……可以考虑一些非游戏系列的 GPU 和主板,或者直接上超微 4028 或者 7048 之类的准系统。
    我以前做简单的 CV,6 核 8 线程的 CPU,32G 的内存就勉强够用了,现在做 graph,48 核 96 线程的 CPU 、近 400G 内存都不太够用。
    zpole
        52
    zpole  
       2020-06-18 18:43:31 +08:00 via iPhone
    cpu 换 ryzen 3700 就够了,深度学习又不吃 cpu,把省下来的钱再买块大的 ssd,抛弃机械硬盘吧
    piao5109
        53
    piao5109  
       2020-06-18 20:24:44 +08:00 via iPhone
    我们公司买的 dell,18 核处理器,64G 内存,单显卡 2080i,2 T固态。风冷。

    3.2 万。
    izzy27
        54
    izzy27  
       2020-06-18 21:21:57 +08:00
    不都是在服务器上面跑的吗。。你在本机跑了还能干别的事? 不懂
    vandort
        55
    vandort  
       2020-06-18 23:01:35 +08:00
    建议看一下你这个 CPU 和主板最大支持多大的内存,消费电子产品,很多主板或者 CPU 只支持 64G 的内存,以免以后需要大内存无法扩容。


    @nmecury graph 真的吃内存,我的服务器 512G 的内存都不太够用


    @piao5109 dell 的东西很贵,同配置下比曙光等厂家贵 30%到 40%,你们这 3.2 万里估计有一半都是 dell 的品控成本和售后维护的钱
    longbye0
        56
    longbye0  
       2020-06-19 01:12:06 +08:00
    没讲是 cv,nlp 还是推荐啥的。

    cv 11g 显存 sota 模型几乎都能吃下,20 系还有 fp16 tensor core,amp 训练也够了。就是吃 batch 大小的任务跑不到 sota 罢了。

    非 cv 任务基本都是显存老虎。
    ScjMitsui
        57
    ScjMitsui  
       2020-06-19 06:02:56 +08:00
    九州风神现在是不是漏液不赔了??
    kokutou
        58
    kokutou  
       2020-06-19 08:03:56 +08:00 via Android
    水冷确实建议换掉,时间长了无法保证永远不漏水。。。
    w1573007
        59
    w1573007  
       2020-06-19 09:12:26 +08:00 via Android
    借楼问一下,双路显卡的显存是可以叠加的么?就是一张卡的 11g 满了能借另一张的?双路显卡有什么优势
    Porphet
        60
    Porphet  
       2020-06-19 09:21:36 +08:00
    @w1573007 我印象中大部分显卡都不能自己叠加,写程序的时候可以用点技巧让一个模型用两个 gpu 的显存。

    双路的目的是实验室里两个人可以各用个的,或者加速运算但是显存还是 11g
    superlc
        61
    superlc  
       2020-06-19 12:13:14 +08:00 via iPhone
    放实验室的机器用啥水冷啊,花里胡哨的没啥用,以后维护都你就承包了,万一哪天坏了还有人埋怨

    你的 task 能跑到满载吗?我的 task 几乎没什么 cpu 压力,推荐志强多核,workers 拉满就完事儿
    superlc
        62
    superlc  
       2020-06-19 12:19:01 +08:00 via iPhone
    @w1573007 不能。两块显卡相当于算力提高一倍,速度会有提升。现在用上 syncBN 以后可以把 bn 层的数据跨卡同步,只能说效果接近单卡大显存,但是还是不一样
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2615 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 76ms · UTC 10:38 · PVG 18:38 · LAX 02:38 · JFK 05:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.