minio 集群部署有些问题求问

[LxnChan]

想部署 minio 的多节点多硬盘模式，主要是想搞一套高可用的 S3 存储，但是集群一直起不来，感觉逻辑上存在问题。

1. minio 用的是旧版本，主要是这个版本是最后一个可以将文件夹目录作为 bucket 的版本

   [root@localhost opt]# ./minio -v
   minio version RELEASE.2021-10-27T16-29-42Z
   

2. 目前是每个节点都直接使用本地文件夹（/opt/data）作为存储。一共是 4 个节点，IP 是192.168.110.25-28。
3. 每个节点的环境配置都是一致的：

   [root@localhost opt]# cat /etc/default/minioenv 
   # MinioEnv 
   
   # Volume to be used for MinIO server.
   MINIO_VOLUMES="http://192.168.110.2{5...8}/opt/data"
   # Use if you want to run MinIO on a custom port.
   MINIO_OPTS="--address :9000 --console-address :9001 "
   # Root user for the server.
   MINIO_ROOT_USER=minioadmin
   # Root secret for the server.
   MINIO_ROOT_PASSWORD=minioadmin123
   
   # set this for MinIO to reload entries with 'mc admin service restart'
   MINIO_CONFIG_ENV_FILE=/etc/default/minioenv
   

4. 使用 systemd 启动 minio 之后 journalctl 日志所有节点都报错： （ log 有点长贴 pastebin 里面了，抱歉） https://pastebin.ubuntu.com/p/ZsTWNnrJ4N/

求大神指点！

[dreamdragon]

用最新版本

[LxnChan]

@dreamdragon XD 所以这是已知问题吗

[XiaoxiaoPu]

ERROR Unable to initialize backend: Unsupported backend format [fs] found on /opt/data

/opt/data 必须是空的 github.com/minio/minio/issues/4104

[LoliconInside]

1. 分布式部署需要至少需要 4 个节点全部上线，否则启动中会卡在 bootstrap check
2. 数据目录在新实例初始化时必须是空的，楼上有提到

[dreamdragon]

如楼上回复，旧版很多 bug ，之前项目踩过一些坑；像 23 年的版本，还有高可用的 bug

[huangpeng0v0]

受限于开源协议 AGPL ，只能使用 Apache2.0 协议 2021-04-22 版本，前段时间刚搞定集群； 不要使用部署之后的配置文件，Systemd 里面使用自定义编写的启动、停止脚本，可以解决你的问题；参考 cnblog 内浏览量最大的那个博客； 不过我也有问题，关闭集群方面：每台服务器都调用 kill 、或者调用 mcli admin service stop [alias] ； systemctl status minio 依旧显示 Fail ，可能是关闭的姿势不对，但实际不影响使用

[LxnChan]

@huangpeng0v0 可以麻烦发个 cnblog 的 post 链接吗，谢谢

[huangpeng0v0]

@LxnChan https://www.cnblogs.com/lvzhenjiang/p/14943939.html 不要使用官方的 指定配置文件的方式， 直接写一个 startMinIO.sh 把 export 的 2 行和 minio server 主启动命令加进去； 但是这种方式启动， 停止之后 再 systemctl status minio 会有错误信息 不影响使用和下次启动，systemd 我没有深入研究过，，，