将对象从 MinIO 迁移到 Azure

安装并配置 mc

该过程使用 mc 在 MinIO 集群上执行操作。 请将 mc 安装在一台同时具备源集群和目标集群网络访问能力的主机上。 有关下载和安装 mc 的说明，请参见 mc 安装快速开始。

使用 mc alias set 命令为源 MinIO 集群创建别名。 创建别名时，需要为源集群和目标集群上的用户指定访问密钥。 所指定的用户必须具备配置和应用迁移操作所需的 权限。

所需的 MinIO 权限

MinIO 要求在要创建生命周期管理规则的一个或多个存储桶范围内具备以下权限。

• s3:PutLifecycleConfiguration

• s3:GetLifecycleConfiguration

此外，在为对象迁移生命周期管理规则创建远程层的集群上，MinIO 还要求具备以下管理权限：

• admin:SetTier

• admin:ListTier

例如，以下策略授予在集群中任意存储桶上配置对象迁移生命周期管理规则的权限：

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "admin:SetTier",
               "admin:ListTier"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteTierManagement"
      },
      {
            "Action": [
               "s3:PutLifecycleConfiguration",
               "s3:GetLifecycleConfiguration"
            ],
            "Resource": [
                        "arn:aws:s3:::*"
            ],
            "Effect": "Allow",
            "Sid": "EnableLifecycleManagementRules"
      }
   ]
}

所需的 Azure 权限

对象迁移生命周期管理规则要求在远程存储层上具备额外权限。 具体而言，MinIO 要求 Azure 凭证对远程存储账户和容器具备读取、 写入、列出和删除权限。

有关配置所需权限的更完整说明，请参阅 Azure RBAC 文档。

远程存储账户和容器必须预先存在

在将该资源配置为生命周期管理层或规则的目标之前，先创建远程 Azure 存储账户 和容器。 在 创建 Azure 存储账户 时，请确保该存储账户对应 Standard 或 Premium blob storage，并使用本地冗余存储（LRS）选项。 MinIO 使用的 Azure Go SDK API 不支持其他任何冗余选项。

如果您为存储账户设置了 默认访问层，那么在定义远程层时，如果未指定 storage class，MinIO 将使用该默认值。 请确保记录 Azure 存储账户和 MinIO 分层配置的相关设置，以避免潜在的混淆、误配置或其他意外结果。

有关 Azure 存储账户的更多信息，请参见 Storage accounts。

对远程数据的独占访问

MinIO 要求对远程存储层上的已转移数据拥有独占访问权限。 “hot” MinIO 源端上的对象元数据与远程 “warm/cold” 层上的对象数据紧密关联。 如果无法访问远程层，MinIO 就无法检索对象数据； 同样，远程层也不能用于恢复源端丢失的元数据。

对已转移对象的所有访问都必须仅通过 MinIO 发起的 S3 API 操作完成。 手动修改已转移对象时，无论修改的是 “hot” MinIO 层上的元数据， 还是远程 “warm/cold” 层上的对象数据，都可能导致该对象的数据丢失。

对于远程存储桶或存储桶前缀中不受该 MinIO 部署明确管理的任何对象， MinIO 都会将其忽略。 自动转移与透明对象检索依赖以下前提：

• 不会在远程存储上由外部修改、迁移或删除对象。

• 远程存储桶上不存在生命周期管理规则 （例如转移或过期）。

MinIO 会将所有已转移对象存储在远程存储桶或资源下、 每个部署唯一的前缀值之中。 该值并非用于在后端识别源部署。 在配置远程目标时，MinIO 还支持附加一个可选的人类可读前缀， 这可能有助于诊断、维护或灾难恢复相关操作。

对于包含其他数据的远程存储层， 包括来自其他 MinIO 部署的已转移对象， MinIO 建议指定此可选前缀。 本教程包含设置此前缀所需的语法。

远程数据的可用性

MinIO 分层行为依赖远程存储在收到请求后立即返回对象 （毫秒到秒级）。 因此，MinIO 不支持需要 rehydration、等待窗口 或人工干预的远程存储。

MinIO 会为每个已转移对象创建元数据，用于标识其在远程存储中的位置。 应用程序无法脱离 MinIO 直接识别和访问已转移对象。 因此，已转移数据的可用性仍依赖于 纠删码 和分布式部署拓扑 为 MinIO 部署中所有对象提供的核心保护能力。 使用对象转移不会带来任何额外的业务连续性或灾难恢复收益。

需要 BC/DR 保护的工作负载应实现 MinIO Server-Side replication。 复制可确保对象保存在远程复制站点上， 从而使用户能够在发生部分或全部数据丢失时从远端重新同步。 有关如何使用复制在部分或全部数据丢失后恢复的更完整文档， 请参见 重新同步（灾难恢复）。

1) 为生命周期管理配置用户账户和策略

此步骤会在 MinIO 部署上创建用于支持生命周期管理操作的用户和策略。 如果该部署已经存在具备所需 permissions 的用户，则可以跳过此步骤。

以下示例使用 Alpha 作为 MinIO 部署 alias 的占位符。 请将其替换为配置生命周期管理规则时所使用的 MinIO 部署别名。 同时，请按照所在组织的密码生成最佳实践， 将密码 LongRandomSecretKey 替换为足够长、随机且安全的密钥。

wget -O - https://minio.pigsty.io/examples/LifecycleManagementAdmin.json | \
mc admin policy create Alpha LifecycleAdminPolicy /dev/stdin
mc admin user add Alpha alphaLifecycleAdmin LongRandomSecretKey
mc admin policy attach Alpha LifecycleAdminPolicy --user=alphaLifecycleAdmin

此示例假定所指定的 alias 具有在该部署上创建策略和用户所需的权限。 有关 MinIO 用户和策略的更完整文档， 请分别参见 用户管理 和 MinIO Policy Based Access Control。

2) 配置远程存储层

使用 mc ilm tier add 命令添加新的远程存储层：

mc ilm tier add azure TARGET TIER_NAME \
   --account-name ACCOUNT \
   --account-key KEY \
   --bucket CONTAINER \
   --endpoint ENDPOINT \
   --prefix PREFIX \
   --storage-class STORAGE_CLASS

上述示例使用了以下参数：

3) 创建并应用迁移规则

使用 mc ilm rule add 命令为存储桶创建新的转移规则。 以下示例将对象配置为在指定的日历天数后执行转移：

mc ilm rule add ALIAS/BUCKET \
--transition-tier TIERNAME \
--transition-days DAYS \
--noncurrent-transition-days NONCURRENT_DAYS
--noncurrent-transition-tier TIERNAME

上述示例指定了以下参数：

4) 验证迁移规则

使用 mc ilm rule ls 命令查看已配置的迁移规则：

mc ilm rule ls ALIAS/PATH --transition

• 将 ALIAS 替换为 MinIO 部署的 alias。

• 将 PATH 替换为要检索其已配置生命周期管理规则的存储桶名称。