CentOS 7环境从零搭建分布式系统存储系统手把手实操指南

前置环境准备

基础环境要求与配置

本次实操需要3台CentOS 7主机（物理机、虚拟机均可），规划信息如下，可根据实际情况修改IP：

• 节点1：IP地址 192.168.1.101，主机名minio-node1，最低配置2核CPU/2G内存/10G空闲磁盘
• 节点2：IP地址 192.168.1.102，主机名minio-node2，配置同上
• 节点3：IP地址 192.168.1.103，主机名minio-node3，配置同上

所有操作需要以root身份执行，以下操作每台节点都需要执行一遍，首先关闭防火墙和SELinux，避免网络拦截：

``` systemctl stop firewalld systemctl disable firewalld sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config setenforce 0 ```

接下来配置节点间主机名解析，编辑/etc/hosts文件，在文件末尾添加以下内容，可直接复制修改为你的实际IP：

``` 192.168.1.101 minio-node1 192.168.1.102 minio-node2 192.168.1.103 minio-node3 ```

配置完成后执行ping minio-node1，能通说明配置正确。

安装部署分布式系统存储集群

安装MinIO服务端

本次选用MinIO实现分布式系统存储，轻量稳定，兼容生产环境，直接下载官方预编译二进制即可使用，每台节点执行以下命令：

``` wget https://dl.min.io/server/minio/release/linux-amd64/minio -O /usr/local/bin/minio chmod +x /usr/local/bin/minio mkdir -p /data/minio /etc/minio ```

如果有额外的空白磁盘用于存储数据，可以把磁盘直接挂载到/data/minio路径，获得更好的存储扩展性。

配置systemd自启服务

每台节点创建systemd服务配置文件/etc/systemd/system/minio.service，直接复制以下完整内容，其中MINIO_ROOT_USER是后台管理员用户名，MINIO_ROOT_PASSWORD是管理员密码，可自行修改后保存：

``` [Unit] Description=Distributed System Storage MinIO Documentation=https://docs.min.io After=network-online.target Wants=network-online.target [Service] User=root Group=root Environment="MINIO_ROOT_USER=admin" Environment="MINIO_ROOT_PASSWORD=Storage123456" ExecStart=/usr/local/bin/minio server \ --address :9000 \ --console-address :9001 \ http://192.168.1.10{1...3}/data/minio Restart=always LimitNOFILE=65535 [Install] WantedBy=multi-user.target ```

这里的启动参数中，http://192.168.1.10{1...3}/data/minio是MinIO原生的分布式集群写法，会自动识别三个节点的存储，不需要逐个手动配置。

启动服务并初步验证

每台节点依次执行以下命令，启动MinIO服务并设置开机自启：

``` systemctl daemon-reload systemctl start minio systemctl enable minio ```

执行systemctl status minio查看服务状态，输出显示active (running)说明启动成功，如果显示失败，可以执行journalctl -u minio -f查看具体错误日志。

功能验证与日常使用实操

登录后台管理界面

打开浏览器，访问任意节点的9001端口，地址格式为http://你的节点IP:9001，例如http://192.168.1.101:9001，输入刚才配置的管理员用户名和密码，即可进入管理后台。

进入后台后，点击左侧导航栏的「Buckets」，可以看到整个集群的总存储容量信息，说明分布式存储集群已经正常搭建完成。

挂载存储到本地当做磁盘使用

如果需要把搭建好的系统存储当做本地磁盘使用，实现跨节点文件共享，可以通过s3fs工具挂载，需要挂载的节点执行以下命令安装：

``` yum install -y epel-release yum install -y s3fs-fuse ```

创建认证配置文件，替换成你自己配置的用户名和密码：

``` echo "admin:Storage123456" > ~/.passwd-s3fs chmod 600 ~/.passwd-s3fs ```

先在MinIO后台创建一个存储桶，例如桶名叫做my-system-storage，然后创建本地挂载目录，执行挂载命令：

``` mkdir -p /mnt/system-storage s3fs my-system-storage /mnt/system-storage -o url=http://192.168.1.101:9000 -o passwd_file=~/.passwd-s3fs -o allow_other ```

执行df -h可以看到挂载成功，现在可以直接在/mnt/system-storage路径下读写文件，所有数据都会自动同步到分布式存储集群中，任意节点挂载同一个桶都可以获取到相同的文件。如果需要开机自动挂载，把挂载命令添加到/etc/rc.local即可。

常见问题排查

• 服务启动失败提示端口占用：执行lsof -i :9000找到占用端口的进程，执行kill 进程ID释放端口，也可以修改systemd配置中的端口号后重启服务。
• 浏览器无法访问管理后台：物理机环境检查所有节点防火墙是否关闭，云服务器需要在服务商后台的安全组放通9000和9001端口的入站规则。
• 集群只识别单个节点：检查所有节点的hosts文件配置是否一致，节点之间是否能互相ping通对方的主机名，网络不通会导致节点无法加入集群。