V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
CapNemo
V2EX  ›  NAS

基于 PVE, TrueNAS 和 OpenWRT 的自用 ALL in ONE NAS 记录

  •  
  •   CapNemo · 2021-05-28 11:21:06 +08:00 · 3418 次点击
    这是一个创建于 1281 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前使用 DELL R510 搭建的 NAS 快满了,毕业后也很难带着 2U 服务器到处跑。因此萌生了组建一台新的 NAS 的想法。

    需求

    梳理了一下我对这台理想中的 NAS 的需求,列举如下。

    1. 存储(目前有 4TB 数据,期望容量 20TB,预留 40TB 的可能性)内容以动画为主,也包含重要个人文件的备份。
    2. 下载( Torrent )
    3. 软路由( zerotier 虚拟内网(用于与 R510 组成异地灾备))
    4. 虚拟化(支撑有时候的开发需求,有可能结合 frp 搭建个人网站)
    5. 体积限制,一般 M-ATX 机箱大小
    6. 噪音限制,和家用台式电脑同级

    计划使用的技术

    技术上,由于需求和 R510 差不多,技术选型也相当相似。

    • Pve 作为 host 系统
      • openwrt
        • ZeroTier
      • TrueNasCore
        • ZFS
      • 其他虚拟机

    硬件需求

    以上内容对硬件产生了如下约束。

    1. 内存
      1. 16GB 起步,最好 32GB
      2. ECC
    2. 处理器
      1. 4 核以上
      2. VT-x & VT-d
    3. 主板
      1. 具有两个以上 PCI-e 插槽
      2. M-ATX 版型
      3. ipmi
      4. 多网口
    4. HBA 卡
      1. 支撑 8SATA
      2. 直通给 TrueNAS
    5. 多口千兆网卡
      1. 直通 OpenWRT
    6. 硬盘

    当然,我还只是个穷学生,预算方面有 1w 左右的限制。

    最终选型

    硬件 型号 品牌 数量 单价 总价
    机箱 N8C 小克思工控 1 ¥780 ¥835
    主板 X10SLL-F SuperMicro 1 ¥650 ¥650
    CPU E3-1231 V3 Intel 1 ¥340 ¥340
    RAM 8G DDR3 1600 ECC Micron 4 ¥170 ¥685
    HBA SAS9300-8i LSI 1 ¥1050 ¥1050
    网卡 WYI350T4 Winyao 1 ¥289 ¥289
    SSD 870 EVO ( MZ-77E1T0B ) Samsung 1 ¥899 ¥899
    SSD WDS100T2B0A WD 1 ¥929 ¥929
    PSU SSP-250SUB SeaSonic 1 ¥355 ¥355
    Cooler HP400mini 乔思伯 1 ¥99 ¥99
    FAN SC8010KH12H-P Scythe 4 - ¥132
    线材 SFF-8643 => 4*SATA - 2 ¥40 ¥88
    线材 SATA - 2 - ¥40
    配件 2.5 寸硬盘架 - 1 ¥28 ¥36
    总计 - - - - ¥6427

    其中,两块 SSD 组成 RAIDZ1 用于 PVE 系统盘。

    相信读到这里肯定有人注意到了,没有硬盘。原因相当简单,计划使用的 WD40EZRZ 最近价格风云变换,一度涨至¥700 元。故暂缓。先找了 8 块垃圾硬盘来搭建原型。

    搭建过程中的注意事项

    1. PVE 只能有一个控制网口,虽然可以改,还是建议将 2 号网口(对应软路由的 LAN )作为控制口
    2. pvetools 这个脚本的开启 pice 直通功能对应 EFI 启动的 pve 不起作用,需要按照 pve 官方教程将 intel_iommmu=on写入 kernel-command

    总结

    目前来看,这一套虽然略微超出预算,但是基本上能够满足我的需求。我还是相当满意的。 美中不足的有以下几点。

    1. 机箱
      1. 必须使用 FLEX 电源,选择受限
      2. 空间利用率有点低,比万由机箱或 NBOX 高一截(但是 pcie 不需要转接线)
    2. SAS9300-8i 对 BIOS 支持并非十分友好,最好搭配 EFI 使用
    3. 主板
      1. 内存容量出道即颠覆,没有升级空间了
      2. CPU 供电只有 85W,不能使用大多数 E3 V4
      3. 第一条 PCIE 槽在 2 号位,上面的 1 号位是空着的导致插双槽显卡会被迫放弃第二条 pcie 槽。

    以上是我组建 All in ONE NAS 的大致记录,谢谢。

    4 条回复    2024-03-21 15:01:13 +08:00
    sbilly
        1
    sbilly  
       2021-05-31 12:52:06 +08:00
    功耗大概啥水平?
    CapNemo
        2
    CapNemo  
    OP
       2021-05-31 16:31:15 +08:00
    @sbilly 功耗计不在身边,估计待机 20w,峰值 150w 吧
    TodayLsp
        3
    TodayLsp  
       257 天前
    SAS9300-8i 对 BIOS 支持并非十分友好,最好搭配 EFI 使用

    你好问一下,这句话是指要改成 EFI ,PVE 才会认 SAS9300 吗
    CapNemo
        4
    CapNemo  
    OP
       253 天前
    @TodayLsp 我记得当时碰到的问题是 bios 模式下无法用于直通。具体的表现好像是虚拟机一开机就宿主机宕机。至于宿主机是否认出了 9300 ,我当时并不关心这个,也就没看。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2111 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 00:31 · PVG 08:31 · LAX 16:31 · JFK 19:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.