文档

存储桶通知

MinIO 存储桶通知允许管理员在特定对象或存储桶事件发生时,将通知发送到受支持的外部服务。 MinIO 支持与 Amazon S3 Event Notifications 类似的存储桶级和对象级 S3 事件。

支持的通知目标

MinIO 支持将事件通知发布到以下目标:

目标

说明

AMQP (RabbitMQ)

将通知发布到 AMQP 服务,例如 RabbitMQ.

教程参见 将事件发布到 AMQP (RabbitMQ)

MQTT

将通知发布到 MQTT 服务。

教程参见 将事件发布到 MQTT

NATS

将通知发布到 NATS 服务。

教程参见 将事件发布到 NATS

NSQ

将通知发布到 NSQ 服务。

教程参见 将事件发布到 NSQ

Elasticsearch

将通知发布到 Elasticsearch 服务。

教程参见 将事件发布到 Elasticsearch

Kafka

将通知发布到 Kafka 服务。

教程参见 将事件发布到 Kafka

MySQL

将通知发布到 MySQL 服务。

教程参见 将事件发布到 MySQL

PostgreSQL

将通知发布到 PostgreSQL 服务。

教程参见 将事件发布到 PostgreSQL

Redis

将通知发布到 Redis 服务。

教程参见 将事件发布到 Redis

webhook

将通知发布到 Webhook 服务。

教程参见 将事件发布到 Webhook

异步与同步存储桶通知

New in version RELEASE.2023-06-23T20-26-00Z: 对于 所有 远程目标,MinIO 支持异步(默认)或同步存储桶通知。

使用异步传递时,MinIO 会将事件发送到已配置的远程目标,并且在继续处理下一个事件之前 不会 等待响应。 异步存储桶通知优先保证发送速率,但如果远程目标在传输或处理期间出现瞬时问题,则存在部分事件丢失的风险。

使用同步传递时,MinIO 会将事件发送到已配置的远程目标,然后等待远程目标确认已成功接收后,才继续处理下一个事件。 同步存储桶通知优先保证事件可送达,但代价是事件发送速率较慢且队列更容易被填满。

要为 所有已配置的远程目标 启用同步存储桶通知,请使用以下任一设置:

Note

对于同步和异步事件,MinIO 都会为每个远程目标维护一个队列,用于存储尚未发送和待处理的事件。 队列上限默认为 100000

队列已满时,MinIO 会丢弃新事件。

可按需增大队列大小,以更好地适配 MinIO 部署与远程目标的事件发送和处理速率。 使用对应通知方法的 QUEUE_LIMIT 环境变量或配置项来修改该限制。

对于异步事件,MinIO 最多允许 50000 个并发 send 调用。

支持的 S3 事件类型

MinIO 存储桶通知与 Amazon S3 Event Notifications 兼容。 本节列出所有受支持的事件。

对象事件

MinIO 支持在以下 S3 对象事件上触发通知:

s3:ObjectAccessed:Get
s3:ObjectAccessed:GetLegalHold
s3:ObjectAccessed:GetRetention
s3:ObjectAccessed:Head
s3:ObjectCreated:CompleteMultipartUpload
s3:ObjectCreated:Copy
s3:ObjectCreated:DeleteTagging
s3:ObjectCreated:Post
s3:ObjectCreated:Put
s3:ObjectCreated:PutLegalHold
s3:ObjectCreated:PutRetention
s3:ObjectCreated:PutTagging
s3:ObjectRemoved:Delete
s3:ObjectRemoved:DeleteMarkerCreated

指定通配符 * 可选择与某个前缀相关的所有事件:

s3:ObjectAccessed:*

选择所有以 s3:ObjectAccessed 为前缀的事件。

s3:ObjectCreated:*

选择所有以 s3:ObjectCreated 为前缀的事件。

s3:ObjectRemoved:*

选择所有以 s3:ObjectRemoved 为前缀的事件。

复制事件

MinIO 支持在以下 S3 复制事件上触发通知:

s3:Replication:OperationCompletedReplication
s3:Replication:OperationFailedReplication
s3:Replication:OperationMissedThreshold
s3:Replication:OperationNotTracked
s3:Replication:OperationReplicatedAfterThreshold

指定通配符 * 可选择所有 s3:Replication 事件:

s3:Replication:*

ILM 转换事件

MinIO 支持在以下 S3 ILM 转换事件上触发通知:

s3:ObjectRestore:Post
s3:ObjectRestore:Completed
s3:ObjectTransition:Failed
s3:ObjectTransition:Complete

指定通配符 * 可选择与某个前缀相关的所有事件:

s3:ObjectTransition:*

选择所有以 s3:ObjectTransition 为前缀的事件。

s3:ObjectRestore:*

选择所有以 s3:ObjectRestore 为前缀的事件。

Scanner 事件

MinIO 支持在以下 S3 scanner 转换事件上触发通知:

s3:Scanner:ManyVersions

Scanner 发现具有超过 1,000 个版本的对象。

s3:Scanner:BigPrefix

Scanner 发现具有超过 50,000 个子文件夹的前缀。

全局事件

MinIO 支持在以下全局事件上触发通知。 只能通过 ListenNotification API 监听这些事件:

s3:BucketCreated
s3:BucketRemoved

负载模式

所有通知负载都使用相同的整体模式。 根据通知类型的不同,某些字段可能会省略或为 null。

{
    "eventVersion": "string",
    "eventSource": "string",
    "awsRegion": "string",
    "eventTime": "string",
    "eventName": "string",
    "userIdentity": {
        "principalId": "string"
    },
    "requestParameters": {
        "key": "value"
    },
    "responseElements": {
        "key": "value"
    },
    "s3": {
        "s3SchemaVersion": "string",
        "configurationId": "string",
        "bucket": {
            "name": "string",
            "ownerIdentity": {
                "principalId": "string"
            },
            "arn": "string"
        },
        "object": {
            "key": "string",
            "size": 10000,
            "eTag": "string",
            "contentType": "string",
            "userMetadata": {
                "key": "string"
            },
            "versionId": "string",
            "sequencer": "string"
        }
    },
    "source": {
        "host": "string",
        "port": "string",
        "userAgent": "string"
    }
}

示例

以下示例是 s3:ObjectCreated:Put 事件的通知:

{
  "EventName": "s3:ObjectCreated:Put",
  "Key": "test-bucket/image.jpg",
  "Records": [
    {
      "eventVersion": "2.0",
      "eventSource": "minio:s3",
      "awsRegion": "",
      "eventTime": "2025-02-06T01:04:31.998Z",
      "eventName": "s3:ObjectCreated:Put",
      "userIdentity": {
        "principalId": "access_key"
      },
      "requestParameters": {
        "principalId": "access_key",
        "region": "",
        "sourceIPAddress": "192.168.1.10"
      },
      "responseElements": {
        "x-amz-id-2": "dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8",
        "x-amz-request-id": "182178E8B36AC9DF",
        "x-minio-deployment-id": "2369dcb4-348b-4d30-8fc9-61ab089ba4bc",
        "x-minio-origin-endpoint": "https://minio.test.svc.cluster.local"
      },
      "s3": {
        "s3SchemaVersion": "1.0",
        "configurationId": "Config",
        "bucket": {
          "name": "test-bucket",
          "ownerIdentity": {
            "principalId": "access_key"
          },
          "arn": "arn:aws:s3:::test-bucket"
        },
        "object": {
          "key": "image.jpg",
          "size": 84452,
          "eTag": "eb52f8e46f60a27a8a1a704e25757f30",
          "contentType": "image/jpeg",
          "userMetadata": {
            "content-type": "image/jpeg"
          },
          "sequencer": "182178E8B3728CAC"
        }
      },
      "source": {
        "host": "192.168.1.10",
        "port": "",
        "userAgent": "MinIO (linux; amd64) minio-go/v7.0.83"
      }
    }
  ]
}