有多少人在 NAS 上跑 K8S，比如 k3s，或者 minikube 或者 kind 来跑 k8s？
xinmans · 2023-05-29 11:53:56 +08:00 via iPhone · 4989 次点击这是一个创建于 549 天前的主题，其中的信息可能已经有所发展或是发生改变。
在 turenas sacle 里默认带的 k3s ，动不动消耗一大部分资源，我的 i3-8100b 带起来很吃力。
所以想看看大家都是如何在 homelab 里跑 k8s ，用什么版本，都跑了什么应用。
目前我用 portainer 管理了几百个 docker ，分布在 unraid ，ubuntu20.04 （ unraid VM ），turenas ，还有一台蜗牛星际上装了 ubuntu 跑 qb docker 做 pt 下载
管理起来不是很方便，来回切换，而且没有高可用。
如果用 k8s 方案，几个问题：
1 ，什么方案比较轻量级，消耗资源少，比较 homelab 配置不会很高
2 ，能实现高可用，比如做不同服务器 node 之间的自动 failure over
3 ，能实现停机快速恢复，停机不损害数据（之前发生过 k8s 开机后挂了，要重新 deploy ）
所以想看看大家都是如何在 homelab 里跑 k8s ，用什么版本，都跑了什么应用。
目前我用 portainer 管理了几百个 docker ，分布在 unraid ，ubuntu20.04 （ unraid VM ），turenas ，还有一台蜗牛星际上装了 ubuntu 跑 qb docker 做 pt 下载
管理起来不是很方便，来回切换，而且没有高可用。
如果用 k8s 方案，几个问题：
1 ，什么方案比较轻量级，消耗资源少，比较 homelab 配置不会很高
2 ，能实现高可用，比如做不同服务器 node 之间的自动 failure over
3 ，能实现停机快速恢复，停机不损害数据（之前发生过 k8s 开机后挂了，要重新 deploy ）
 |
1
winson030 2023-05-29 11:56:18 +08:00 via iPhone
试试 docker swarm ，用起来还可以，就是要注意 leader 重启
|
 |
2
Masoud2023 2023-05-29 11:56:40 +08:00
我印象里 k3s 应该已经是最小的了，非要搞这种高可用，要么 docker 那套方案能轻一点？或者 podman 搞 deployment ？
|
 |
3
Hieast 2023-05-29 12:00:38 +08:00
nas 里跑 docker 就够了，k3s/k8s 在这种场景下不适用
|
|
4
Hieast 2023-05-29 12:06:17 +08:00
1. 不知道
2. 这个高可用我理解不是主从、副本的高可用，而是挂了能重启。这样的话你得定义好 livenessprobe ，集群才能感知到重新调度，重新调度就不一定还在原来的 node 上了 3. 停机快速恢复见 2 ，k8s 开机后挂了可能是资源不足，k8s 的 worker node 最好能占用所有机器资源 |
 |
5
ryan4yin 2023-05-29 12:10:18 +08:00  3
我出于学习的目的，在 homelab 里跑了四个集群，一个主集群用来跑各种零散应用，另外三个用来测试一些跨集群的高可用、网络架构。
再回答下这几个问题： 1. k3s 已经是非常轻量的方案了，我用的是三台 mini 主机跑的，性能很够用。具体可见： https://github.com/ryan4yin/knowledge/tree/master/homelab 2. 你说的自动 fail over 这不是 k8s 原生的功能么，pod 会自动调度到其他节点。如果是希望内网的域名解析或 IP 也能自动 failover 的话，可以看看 kube-vip ，它提供了链路层的 fail over 能力，这个在局域网用起来很简单也很方便。 3. 我 homelab 中所有的 VM 都每日晚上自动备份，确保环境被我搞坏也能快速恢复。比如你说的启动后 k8s 挂了，对我而言直接在 PVE 页面点两下，就能恢复到上一个可用环境了。 |
 |
6
thet 2023-05-29 12:28:11 +08:00 via iPhone
我跑 k3s 内存占用还好，不到 1g
|
 |
7
xinmans OP @ryan4yin #3 是指打了 VM 的快照？ 4 个 VM 1 个 master+3 个 work ？然后快速恢复？那如果是突然掉点 down 了，如何恢复呀。
3 台 mini 主机是指 mac mini ？ |
|
8
xinmans OP @thet chart 是渣渣，如果是命令行感觉也是比较耗资源的，而且重启 truenas scale 经常恢复不到正常状态，很坑爹
|
 |
10
RRyo 2023-05-29 14:36:52 +08:00
2 节点
- i5-6500T 189m - i5-5300U 17m 主要是隔离网络, 5300U 那台的子网的路由是直通没科技的, 用来下载和 BT 一共跑了二十来个 pod, CPU 总负载 200m, 很低,不过内存比较多,总计 7G |
 |
12
v2wtf 2023-05-29 15:57:29 +08:00
k3s 只是相对轻量，但是对低配置机器来说仍然是重量级，空载就已经经常占 30%以上 CPU 了。
microk8s 稍微好一点，可以试试看，不过这货只支持 Ubuntu 。 |
 |
13
ccde8259 2023-05-29 19:32:33 +08:00 via iPhone
2666v3 + 64G 配置带 K8S 基本没什么压力，日常 CPU 占用率约 16%，RAM 用了 50%左右……i3 8100 确实不适合带 K3S
|
 |
14
mythabc 2023-05-29 19:42:23 +08:00
已经把 homelab 堆到 13700+96G 内存的配置了。
|
 |
15
asuraa 2023-05-29 19:46:45 +08:00
我都不用 K3s k8s 这种重量级的
我用的是 docker swarm 这玩意适合资源少的环境 管理也方便 就用 docker compose 管理 不用像 k8s 一样 写一堆 yml |
 |
16
jackge0323 2023-05-29 19:55:07 +08:00
10400 + 32G 内存，unraid 起了三个虚拟机跑 k3s 集群，资源占用倒是还行，就是磁盘写入有点恐怖，平均每天 50G 的写入，磁盘不能放在机械上，慢不说，全天 24 小时磁盘那个响声真是受不了，为此买了块 3.84T 的企业固态。整体来说还是很舒服，有域名和外网服务器的话，frp 服务穿透到家里集群上，省很多钱。
|
 |
17
ltkun 2023-05-29 19:56:39 +08:00 via Android
目前 9900t 128g 没有 k3s 这种 直接 pve 的 lxc 容器嵌套 docker 用 portainer 管理 几十个容器 再加十几个 lxc 和 vm
|
 |
18
0987363 2023-05-29 22:05:40 +08:00 via iPhone
家用我都 docker shell 或者 compose
|
 |
19
fox233 2023-05-30 00:40:03 +08:00
大佬推荐个 k8s 教程好嘛
|
|
20
fox233 2023-05-30 00:40:18 +08:00
k3s 的也行
|
 |
21
fegait2 2023-05-30 09:16:28 +08:00
k3s 还行
|
|
25
xinmans OP docker-compose+portainer 玩腻了，如果只是跑 homelab 服务，确实够用，而且玩起来也不复杂
主要是学习用途，k8s 的 failover ，scale out 和 up 都可以测试下 yaml 工程师是未来的 ops 主力，所以必须要刷新下技能树了。 |
 |
27
phx1 2023-06-06 14:35:37 +08:00
投 k3s 一票
|
 |
28
ri0day 2023-07-13 17:30:17 +08:00
hashicorp nomad + traefik + tailscale 试一下吧.
|
 |
29
kid1412621 2023-08-20 18:21:39 +08:00
@xinmans #25 同想法，后续呢？
|
Select Language