V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
abccba
V2EX  ›  程序员

个人数据备份的一些问题

  •  1
     
  •   abccba · 2022-07-28 21:52:18 +08:00 · 5979 次点击
    这是一个创建于 856 天前的主题,其中的信息可能已经有所发展或是发生改变。

    需求

    定期备份 /冷备

    • 个人数据:文档、图片、视频等,目前十几 GB. 需要加密
    • 网络资料:电子书、影视音乐等,目前几十 GB 积累中。互联网上说不定哪天就和谐了,优质的资料还是自己离线存储一份吧。无需加密

    备份与同步的实现方案?

    暂不考虑 RAID/自己部署网络服务(太麻烦了,我自己这个场景性价比不够高?)。数据平时在个人电脑(Linux/MacOs)和手机里

    • 有啥推荐的备份程序或工具吗? 写个脚本每周~每月手动执行,从电脑往移动硬盘 rsync?
    • 在这个背景下,加密与安全问题有哪些考虑点,或者大家是如何加密存储的呢?
    • 重要的个人数据还会往 U 盘存一份,保证有 3+副本(电脑 /手机、移动硬盘、U 盘)
    • 准备 2 个移动硬盘,一个随身一个放老家,往返老家的时候就交换下这两块盘
    • 仔细想了下,暂时还不需要实时备份(主要是考虑到实现代价相对于收益而言太大了),当然大家也可以说说自己的实时方案

    硬盘如何选择?

    感觉 1~2T 的普通移动机械磁盘比较合适?

    • 容量 1-2T 感觉目前足够了,有需要再上更大容量的
    • 性能没有很高要求
    • 当前是不是还推荐用 cmr 盘,京东上似乎有些移动硬盘是“监控盘”,之前不是很懂,搜了下资料,感觉用作个人数据备份也还可以?
    • 移动硬盘格式化成什么文件系统比较合适,有推荐的不?

    维护?

    • 硬盘会坏,如何定期检测呢,备份脚本执行一下 fsck 是否可行,或者应该怎么做更合适?

    更多

    还需要考虑哪些问题和关键点呢?

    提前谢谢大家

    45 条回复    2022-07-31 18:56:27 +08:00
    codefever
        1
    codefever  
       2022-07-28 21:59:41 +08:00   ❤️ 1
    我觉得最优质的资料,还是得打印出来
    duke807
        2
    duke807  
       2022-07-28 22:10:34 +08:00 via Android   ❤️ 1
    定期 rsync ,服務器 sync 到本地電腦,電腦 sync 到 u 盤

    敏感數據存到 image 文件中,需要訪問的時候才解密,解密后內容映射到一個目錄,使用開源加密 shell 小腳本:
    https://github.com/dukelec/cde/blob/master/tools/aes-mount.sh
    duke807
        3
    duke807  
       2022-07-28 22:11:27 +08:00 via Android
    電腦每過一段時間,開機會自己 fsck ,不用自己 fsck ,除非你從來不關機
    duke807
        4
    duke807  
       2022-07-28 22:13:25 +08:00 via Android
    電腦每過一段時間,開機會自動 fsck ,不用你自己 fsck ,除非你從來不關機

    代碼數據還要單獨 push 到 git 服務器,開源的 push 到 github ,不開的 push 到自己服務器 gerrit
    rekulas
        5
    rekulas  
       2022-07-28 22:33:17 +08:00   ❤️ 1
    如果你不需要 raid ,直接买个玩客云,然后配个硬盘实现加密同步到 oss 、百度云等,年备份成本几十元而已,配置也简单,还可以当 nas 挂载使用

    似乎比你 pc 上折腾还方便多了吧
    abccba
        6
    abccba  
    OP
       2022-07-28 22:41:15 +08:00
    @codefever 哈哈哈,是的
    abccba
        7
    abccba  
    OP
       2022-07-28 22:43:01 +08:00
    @duke807 谢谢您的建议
    关于 fsck:我是想问用于冷备的 移动磁盘,是否需要定期 fsck 检查损坏情况。。。
    luoshengdu
        8
    luoshengdu  
       2022-07-28 22:43:44 +08:00 via iPhone   ❤️ 1
    你需要的功能 ,不就是品牌移动硬盘厂商配备的自动化备份工具就能满足吗?
    https://www.seagate.com/cn/zh/support/software/toolkit/
    买个移动硬盘,装上这玩意儿设置个计划备份就行了。
    abccba
        9
    abccba  
    OP
       2022-07-28 22:46:59 +08:00
    @rekulas 谢谢

    敏感的个人信息,我觉得以我的能力,加密以后也不敢往云上放(有很多网友有不同观点,我尊重不同看法);线下存储风险更小。

    公开的文档、影视资料这些放云上又可能被审查和谐,也可以简单加密后放上去。。。
    lidodo
        10
    lidodo  
       2022-07-28 22:49:14 +08:00 via iPhone   ❤️ 1
    1. 网络一份,比如 Dropbox 或者 onedrive ;
    2. 硬盘一份;

    应该是比较安全了
    datoo
        11
    datoo  
       2022-07-28 22:53:21 +08:00   ❤️ 1
    搞个 Dropbox 或者 Google drive 就行了呗
    datoo
        12
    datoo  
       2022-07-28 22:54:18 +08:00   ❤️ 2
    中国的隐私信息传美国网盘,美国的隐私信息传俄罗斯网盘,俄罗斯的隐私信息传中国网盘。这样最可靠
    netnr
        13
    netnr  
       2022-07-28 22:55:08 +08:00 via Android   ❤️ 1
    兄弟,都是浮云,没你想的那么重要,身体出现个伤痛,这些啥也不是,平常心
    abccba
        14
    abccba  
    OP
       2022-07-28 22:58:45 +08:00
    @luoshengdu 谢谢
    好像不支持 Linux ,得定期运行 Windows ;
    然后需要将加密放在备份之前(例如平时就加密存储,访问时解密,如 2 楼朋友的建议)。

    感觉可以试试,应该比自己折腾好
    neteroster
        15
    neteroster  
       2022-07-28 23:00:05 +08:00   ❤️ 2
    备份

    * 推荐的备份工具:restic ,功能包括增量备份,自动去重,自动加密,快照式管理,很好用。
    * 需要考虑的点:备份的可用性&完整性,最好定期验证备份。

    硬盘

    * 根据你的容量需求,推荐用移动固态。移动硬盘由于更容易发生碰撞 / 供电稳定性等原因,固态会比机械更合适。读写速度也会大幅提高。
    * 文件系统:由于你是备份用,如果用了 restic 类的工具,本身就能验证数据完整性,所以只需要根据系统选择即可,Windows - NTFS; Linux - ext4 / xfs. 如果你选择直接 rsync 之类的方案,备份又在 Linux 下进行,则可以考虑使用 btrfs 或 zfs 以验证数据完整性。

    维护

    * 很难预测硬盘的损坏,还是尽量多备份。
    abccba
        16
    abccba  
    OP
       2022-07-28 23:03:31 +08:00
    @lidodo @datoo 谢谢两位。需要科学上网就又多了一个不太可控的条件,哈哈哈
    abccba
        17
    abccba  
    OP
       2022-07-28 23:12:23 +08:00
    @neteroster 非常感谢您提供的思路,我好好研究下 restic 这个工具

    再请教一个问题:“如果你选择直接 rsync 之类的方案,备份又在 Linux 下进行,则可以考虑使用 btrfs 或 zfs 以验证数据完整性”,这个具体可以怎么操作呢,怎么使用 btrfs 或 zfs 验证数据完整性?
    neteroster
        18
    neteroster  
       2022-07-28 23:17:04 +08:00   ❤️ 1
    @abccba
    两个文件系统都有对应指令,比如 zfs 运行 `zpool scrub <poolname>` 就可以自动读取所有数据并且验证 hash 值(这个 hash 值是在文件写入的时候自动计算并保存的。)如果有问题(且没有 raid 冗余的情况下)会报告损毁的文件,只需从备份恢复损坏文件即可。
    JamesR
        19
    JamesR  
       2022-07-28 23:27:10 +08:00   ❤️ 1
    京东多买几块正规机械硬盘,往 PC 机上一装就好,直接用 Fastcopy 拷贝保存就行。只要不频繁读写,或者读写中停电,机箱避免震动,个人使用机械硬盘是很难坏的,我的几块硬盘坏都是 7×24 小时下载下坏的。
    JamesR
        20
    JamesR  
       2022-07-28 23:28:50 +08:00
    备份可以用 Freefilesync 配合任务计划自动定期同步文件夹就行,使用上非常简单。
    xy90321
        21
    xy90321  
       2022-07-28 23:40:59 +08:00 via iPhone   ❤️ 1
    离线冷数据的话蓝光刻录就可以了。
    25G 50 片桶装百元出头,折合 1.2T/100 元 左右,性价比也凑合。
    储存条件注意避光保持干燥再搭配普通的 PP 材质光盘收纳袋,存个十几二十年问题不大。
    233373
        22
    233373  
       2022-07-28 23:52:10 +08:00   ❤️ 1
    全丢 GD 了
    totoro625
        23
    totoro625  
       2022-07-29 01:24:07 +08:00 via iPhone   ❤️ 1
    我主力用的 Windows ,下面提到的 syncback 和 bitlocker 不支持 linux

    主要用的 restic 自动加密每天定时备份 带版本控制
    其次 snapraid 辅助备份

    另外用了一个 syncback 无加密每天定时备份 带版本控制
    最后群晖 drive 无加密实时备份到老家 带版本控制

    移动硬盘只用于备份的话没必要挑选 cmr ,我数据较多买了不同型号两个 5t 的
    电脑挂了一个 16t cmr ,老家群晖是单盘 8t cmr

    重要数据我用的 veracrypt 和 bitlocker 加密后丢 u 盘
    Chad0000
        24
    Chad0000  
       2022-07-29 04:36:13 +08:00 via iPhone   ❤️ 1
    移动硬盘备份一份,然后加密上传至便宜得云存储比如 backblaze b2 ($0.005/g/month )套个 CF 免流量费。定期检查硬盘上的文件,hash 不一致就重新下载。
    hoopan
        25
    hoopan  
       2022-07-29 08:35:59 +08:00
    一步到位搞台 NAS 就好了
    pendulum
        26
    pendulum  
       2022-07-29 10:16:21 +08:00
    goodsync 多目标备份(移动硬盘、NAS 、SharePoint 、OSS )
    IvanLi127
        27
    IvanLi127  
       2022-07-29 11:45:51 +08:00
    syncthing 支持加密备份到不可信设备,能实时同步,也能定时同步。有多台手机或计算机就行。
    XiaolinLeo
        28
    XiaolinLeo  
       2022-07-29 12:02:22 +08:00
    个人数据加密的:本地一份、国内网盘一份、国外网盘一份
    关于网络资料这些你说的电子书、影视音乐本地和云盘各一份就行,不涉政、黄,没人给你和谐。
    cnrting
        29
    cnrting  
       2022-07-29 12:08:02 +08:00 via iPhone
    備份啥子,生不帶來死不帶去的
    des
        30
    des  
       2022-07-29 12:25:41 +08:00 via iPhone
    @neteroster restic 太坑了,备份出来一堆小文件,都是 4MB
    life1st
        31
    life1st  
       2022-07-29 12:32:08 +08:00 via iPhone
    我用 qnap 的 hbs3 ,另外有个社区方案可以试试 https://github.com/duplicati/duplicati
    msg7086
        32
    msg7086  
       2022-07-29 12:38:48 +08:00
    质量好的硬盘都是大容量的企业级。我现在只买 14TB 或更大的盘了。
    1TB 2TB 这种都是家用级的盘,质量一言难尽。

    至于性价比的问题,你可以先问问自己,假如你的这些个人数据坏了,你愿意花多少钱抢救数据。然后把这些钱拿来部署存储方案。
    neteroster
        33
    neteroster  
       2022-07-29 12:58:14 +08:00 via Android
    @des 是这样,但是都是本地互操作没啥关系,上传云端就很痛苦
    leefor2020
        34
    leefor2020  
       2022-07-29 13:12:26 +08:00
    我重要数据本地加密之后,家里 NAS 上一份,Dropbox 一份,另外为了防止加解密出错,明文的还在机械移动硬盘上存了一份
    Achophiark
        35
    Achophiark  
       2022-07-29 14:15:39 +08:00
    双盘位 nas 搞定你的需求
    donghai163
        36
    donghai163  
       2022-07-29 15:20:35 +08:00
    加密用 cryptomator,全平台都支持,然后 rsync 脚本定期备份,或者备份到云盘
    totoro625
        37
    totoro625  
       2022-07-29 15:54:37 +08:00
    @donghai163 #36 早些时间用过 cryptomator 和 Boxcryptor ,体验都不算好( Windows 平台),
    Boxcryptor 能映射一个本地磁盘比 cryptomator 的网络共享磁盘好一些;但是 cryptomator 开源免费
    totoro625
        38
    totoro625  
       2022-07-29 15:59:25 +08:00
    @totoro625 #37 勘误,cryptomator 支持 FUSE 类型的虚拟磁盘
    jekyll
        39
    jekyll  
       2022-07-30 00:17:25 +08:00
    日常使用:cryptomator 或 Boxcryptor 搭配 Dropbox

    电脑上插 2-3 块硬盘,Dropbox 里的内容全离线下来,1:1:1 ,就有两三份了,总不至于同时坏吧
    公司电脑再下一份,异地原则满足了
    再来 1~2 个移动硬盘
    上面这些盘都开 BitLocker ,下在里面的也都是 cryptomator 或 Boxcryptor 加密过的文件,cryptomator 或 Boxcryptor 的密码 1024 位,放在 keepass 里。
    管好你的 keepass 。
    documentzhangx66
        40
    documentzhangx66  
       2022-07-30 05:16:57 +08:00
    @msg7086 大盘麻烦的地方在于,恢复时速度极慢,特别是那种几十万甚至上百万个零碎的小文件。

    我一直买 3T - 4T 的日立拆机盘,我感觉这是性价比与故障恢复的黄金尺寸。

    我自用的,加上给朋友同事推荐的,大概四五十个了,除了某 2 个在收货后检测期间发现问题后,退货了,其他的,三年以来,无一翻车。
    documentzhangx66
        41
    documentzhangx66  
       2022-07-30 05:18:19 +08:00
    题主这种怕麻烦,动手能力欠缺的情况,适合买白群晖。

    白群晖基本上把你的需求全覆盖了,包括回老家后的外部访问、手机访问与备份,等等。
    Hoshizora
        42
    Hoshizora  
       2022-07-30 12:14:31 +08:00 via Android
    @des 可以试试 borgbackup ,个人测试 borgbackup 能更好的压缩数据(可选压缩工具实现不同压缩率),虽然也会产生一堆小文件,但数量相对少点
    des
        43
    des  
       2022-07-30 15:22:54 +08:00 via iPhone
    @Hoshizora 已经在用了,虽说功能不如 restic 功能多。不过 restic 设置大 chunk 有人提了 pr 了
    kerrspace
        44
    kerrspace  
       2022-07-31 15:47:11 +08:00
    @Chad0000 为什么默认云储存的一定是对的呢?云储存数据的最终落脚点不也是机房的硬盘吗?它也会发生你本地硬盘一样的事情。为什么默认云盘稳定性就高于本地硬盘呢?
    Chad0000
        45
    Chad0000  
       2022-07-31 18:56:27 +08:00 via iPhone
    @kerrspace 因为自己管理硬盘出问题概率大太多,比如放家里潮湿损坏,电力不稳定,震动(我家小孩扔皮球到我笔记本上直接报废了 ssd ),丢失(小偷)。这些发生的几率远高于机房,而且个人一般也没有定期检查硬盘和数据有没有问题的习惯。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2856 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 12:30 · PVG 20:30 · LAX 04:30 · JFK 07:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.