@ca1123 之前用过一段时间 k3s，现在卸了，空转也浪费资源，3B 只有 1G 内存，而且读写的都是 tf 卡

你这么想要树莓派我把我的卖给你，200 一个带 tf 卡，或者我下面那 5 台一套带那个亚克力板 tf 卡和电插板 1000 打包给你

@akmisty 喊你去喝酒然后趁机偷你装了私钥的笔记本

@ca1123 那你可要测试测试了，树莓派还有电压电流要求，要是不达标要么终端一直低电压错误，要么 hdmi 接显示器闪黑屏，电插排都要选好，4B 好像是要 5V3A 的电源，3B 也得是 5V1A 以上的样子，加起来你得算好了，我的就是电流不够 hdmi 接入显示器老是闪黑屏

https://i.imgur.com/u55RyNJ.jpg

@calmzhu 遇到了个大佬，终于有人分析压测图了

htop 观测（ linode ubuntu 20.04 ）:
裸机：Tasks：24，5 thread
裸机+dockerd: Tasks: 30, 25 thread
裸机+k3s+containerd: Task: 46, 117 thread
裸机+k3s+dockerd: Task: 52, 193 thread

问题：
1. 单 node 是因为 traefik 和 nginx pod 争抢 cpu 导致的瓶颈，2c4g 太低，25 thread vs 117 thread
2. 多 node 实际上我搭建压测环境偷懒了，实验设计会因为 1 的瓶颈导致整体没有达到最理想状态，新加入的 node cpu 利用率只有 50%左右，而 4node 一开始的延迟比 3node 还要高，就是入口 node 过载更严重导致，3node 用的 6k，4node 用的 7k

不过问题 1 才是我需要的答案，问题 2 对我无足轻重，只是想看看现有方案添加多 node 会怎样，所以问题 2 没有太严谨的压测

目前得到的结果是：
1. 后期会加强 ingress 入口机器的配置，并不是只加 agent 机器数量
2. 或者前置一个负载均衡均匀分配请求到所有 node
3. 或者用 CF 的 DNS 多 A 记录来分担负载

@carrotrollroll

k8s 系有 k8s，k3s，microk8s 等。标题是 rhel 的 yum 源慢，帖子说 centos 更新好慢有问题么

说的是小成本项目，铺个 100 台 64c128g，不管是裸机还是 docker 还是 k8s 系，最后 qps 都会相近，任何基础组件的损耗占比都可以被抹平，你还有 20%损失说明机器还不够多，再铺一倍机器损耗会到 10%

@salmon5

2c4h 是我自己的站常用的配置，我觉得的小成本就是几台 2c4g，为了测试我自己的项目用的，可能每个人眼中的小成本不太一样，而且我测试常用 vultr 或者 digitalocean 这种，最高配置 8c16g

@idblife 我自己的是有一堆小项目每年换服务器商能快速迁移，其次接入 github actions 自动化部署也方便很多，而且有时候突然流量来了能快速伸缩

@laragh 就是硬盘大的服务器

@zlowly 其实你说的都对，也是现状，也正是你说的原因，好多项目的系统还是 centos6，大家都没有养成应该持续维护升级软件系统的价值观，为什么大到桥梁建筑，小到路口路灯都有人维护，软件服务为什么都想一次买断

普及 debian 以及普及持续升级服务的价值观还有以下好处：

1. 5 年就必须更新一次系统，而不是 rhel 的 10 年，多了一倍工作量，可以为行业带来更多的工作岗位
2. 持续更新系统能够保证软件包够新，历史包袱少，临近版本的升级带来的不兼容也更容易修复，举个例子你是愿意把 php7 的项目迁移到 php8 还是 php5 的项目迁移到 php8
3. 即使你操作系统维护周期 10 年，软件源的软件不一定维护 10 年，最后几年会遇到各种需要自己添加软件源的情况，还可能需要处理各种依赖包兼容问题，新系统则极少出现此类问题


不仅是 ubuntu/debian，linux 内核或者是 freebsd 目前都是讲生命周期维护到 5 年左右，5 年是互联网共识，红帽腾讯阿里这些企业之所以维护 10 年，是因为老系统维护问题多，他们卖的就是服务，自然愿意维护 10 年。而普及 debian 得到的好处 1，就是要从他们嘴里夺食

别学一楼，给他人提供翻墙违法，搞台大盘鸡装个 sharelist 或者其他的

@ca1123 树莓派功耗差不多，现在得买 4b，但是 4b 默认得装散热片，不然 cpu 很烫

树莓派你跑 k3s 组集群，20 台你得再买个牛逼的交换机吧，我组 5 台开始用的 h3c s2g 的 8 口交换机，后来嫌网线太多直接用的无线路由器路由器，看你路由器支持 20 多台设备不

而且 20 台 4g 版本一台 500，20 台 1 万，性能还不好

所以最好还是 x86，看看小型机工控机，不独显不显示器功耗要不了 200w

@jiangzhizhou 很贵，按楼上大佬的意思搞几台 16c64g，简单的 4c8g 每个月小几千，个人项目和小公司很难负担吧

@tinkerer 要分析 k3s 发帖回帖是找不到答案的，找答案要自己分析系统 profile，主要是我自己的几个网站用的 k3s 后 qps 极速下降，我还以为是 cf 的问题，这测了下才知道是 k3s 导致

@guyskk0x0 就认真讨论问题话，2h4g 的 qps 简单业务用上异步框架可以过 1-2k，没有的话建议跑下 profile 分析下，以及数据库性能

arm 的基本常用镜像都有

你树莓派几，4b4g 以上可以上，其他别上了，之前 5 台 3b 做集群，裸跑 k3s cpu 都没老实过，太耗资源了，还 1 台 4b8g 还可以

@guyskk0x0 我掐指一算你要么是个 java 写中台的，要么是个 php 但是用的 laravel /dog

@zlowly 系统还是应该每年跟着升级，落后一个版本就好了，今年 2021 年就 20.04 ，等 23 年出 23.10 再升级到 22.04 或者等 22.04.1 出来升级

@plko345 http://hdrhistogram.org/

wrk2 github 文档中有说明，压测参数带-L，输出到 txt 上传，可以一次上传多和 txt，每个都是一条线

@wdlth k3s 的官方命令默认安装，没有 IPVS，ingress 也是默认的 traefik v1 。主要是上次发了一个很详细的测试贴被人喷太多不想看，所以这次直接给图了。

实际上 k8s 优化起来，runtime 用 docker 或 containerd，网络用 fannel 或者 calico，ingress 是 traefik 1 或 2 或者 nginx，都对最终结果影响很大。

全部测这十一假期都测不完，万一某些没说清楚还要被楼上喷态度不严谨，或者喷你 UC 标题党

@JRyan k8s 系能上云的话会更好，主要是 ingress 用云的 LB，避免和业务 pod 在同一 node，下文切换导致性能衰减