硬件检查清单

网络

MinIO 建议使用高速网络，以支撑所连接存储（聚合驱动器、存储控制器和 PCIe 总线）的最大可能吞吐量。 下表给出了不同物理或虚拟网络接口可支撑的最大存储吞吐量的一般参考值。 该表假设所有网络基础设施组件（例如路由器、交换机和物理线缆）同样支持对应的 NIC 带宽。

网络对 MinIO 性能影响最大，较低的单主机带宽会人为限制存储的潜在性能。 以下网络吞吐受限示例假设机械盘可提供约 100MB/S 的持续 I/O：

• 1GbE 网络链路最多可支撑 125MB/s，大约相当于一块机械盘

• 10GbE 网络大约可支撑 1.25GB/s，理论上可支撑 10 到 12 块机械盘

• 25GbE 网络大约可支撑 3.125GB/s，理论上可支撑约 30 块机械盘

内存

内存主要限制每个节点可同时处理的并发连接数。

你可以使用以下公式计算每个节点的最大并发请求数：

\(totalRam / ramPerRequest\)

若要计算每个请求使用的 RAM，请使用以下公式：

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是默认的 erasure block size v1。 1 MiB 是默认的 erasure block size v2。

下表根据主机驱动器数量和系统 可用 RAM，列出节点上的最大并发请求数：

下表根据节点本地存储总量，给出为 MinIO 分配内存的一般建议：

存储

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

操作系统诊断工具

如果你无法运行 mc support diag，或者其结果出现异常，可以改用操作系统默认提供的工具。

请在所有服务器上分别测试每块驱动器，以确认它们的性能一致。 使用这些操作系统级工具的结果来验证你的存储硬件能力。 请记录这些结果，以备后续参考。

1. 测试驱动器写入性能

   此测试通过按指定块数、每次最多写入指定字节数的方式向驱动器写入新数据（非缓存），以模拟驱动器在写入非缓存数据时的实际工作方式。 这可以让你在保持文件 I/O 一致的前提下，观察驱动器的真实写入性能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   请将 driveN 替换为你要测试的驱动器路径。

   dd	用于复制和粘贴数据的命令
   if=/dev/zero	从 /dev/zero 读取，这是一种系统生成的、无限输出 0 字节的数据流，可用于创建指定大小的文件
   of=/mnt/driveN/testfile	写入到 /mnt/driveN/testfile
   bs=128k	每次最多写入 128,000 字节
   count=80000	最多写入 80000 个数据块
   oflag=direct	使用 direct I/O 写入，避免数据被缓存
   conv=fdatasync	在结束前将输出文件数据物理写入磁盘
   > dd-write-drive1.txt	将操作输出内容写入当前工作目录下的 dd-write-drive1.txt

   该操作会返回已写入文件数量、总写入字节数、操作总耗时（秒）以及某种字节每秒表示的写入速度。

2. 测试驱动器读取性能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   请将 driveN 替换为你要测试的驱动器路径。

   dd	用于复制和粘贴数据的命令
   if=/mnt/driveN/testfile	从 /mnt/driveN/testfile 读取；请替换为用于测试驱动器读取性能的文件路径
   of=/dev/null	写入 /dev/null，这是一个在操作完成后不会保留内容的虚拟文件
   bs=128k	每次最多写入 128,000 字节
   count=80000	最多写入 80000 个数据块
   iflag=direct	使用 direct I/O 读取，避免数据被缓存
   > dd-read-drive1.txt	将操作输出内容写入当前工作目录下的 dd-read-drive1.txt

   请使用足够大的文件，以模拟部署的主要使用场景，从而获得准确的读取测试结果。

   以下建议可在性能测试时提供帮助：

   • 小文件：< 128KB

   • 普通文件：128KB – 1GB

   • 大文件：> 1GB

   你可以使用 head 命令创建测试文件。 以下命令示例会创建一个名为 testfile 的 10 Gigabyte 文件。

   head -c 10G </dev/urandom > testfile
   

   该操作会返回已读取文件数量、总读取字节数、操作总耗时（秒）以及某种字节每秒表示的读取速度。

第三方诊断工具

I/O 控制器测试

使用 IOzone 对输入/输出控制器及所有驱动器组合进行测试。 请记录部署中每台服务器的性能数据。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt