• Giới thiệu
  • Tại sao Event Bridge Integration quan trọng?
• Tổng quan EventBridge
  • EventBridge là gì?
  • Cách hoạt động:
• Các loại SageMaker Events
  • Danh sách đầy đủ các events được giám sát:
• Kết Luận

Giới thiệu

Amazon SageMaker HyperPod giờ đây tích hợp với Amazon EventBridge, cho phép bạn nhận thông báo gần như thời gian thực về các thay đổi trạng thái của cluster! Điều này mở ra khả năng tự động hóa mạnh mẽ cho các quy trình machine learning.

Amazon Event Bridge giám sát các sự kiện thay đổi trạng thái trong Amazon SageMaker AI, cho phép bạn tự động hóa SageMaker và phản hồi tự động với các sự kiện như thay đổi trạng thái training job hoặc endpoint status change.

Nguồn: https://aws.amazon.com/about-aws/whats-new/2025/05/amazon-sagemaker-hyperpod-integrates-amazon-eventbridge-status-change-events/

Tại sao Event Bridge Integration quan trọng?

Với tích hợp Event Bridge, bạn có thể:

• Theo dõi real-time – Nhận thông báo ngay lập tức về status changes
• Tự động hóa workflows – Trigger actions tự động khi có sự kiện
• Thông báo thông minh – Thiết lập alerts cho các events quan trọng
• Giám sát toàn diện – Theo dõi toàn bộ ML pipeline
• Tích hợp liền mạch – Kết nối với các AWS services khác

Tổng quan EventBridge

EventBridge là gì?

Amazon EventBridge là dịch vụ eventbus serverless giúp kết nối các ứng dụng với dữ liệu từ nhiều nguồn khác nhau. Với SageMaker integration:

• Near real-time delivery – Events được gửi gần như thời gian thực
• Simple rules – Viết rules đơn giản để định nghĩa events quan tâm
• Automated actions – Thực hiện actions tự động khi event match rule
• Rich integrations – Tích hợp với nhiều AWS services

Cách hoạt động:

SageMaker AI → EventBridge → Rules → Target Actions

     ↓              ↓          ↓            ↓

Status Change → Event Bus → Filtering → Lambda/SNS/SQS

Các loại SageMaker Events

Danh sách đầy đủ các events được giám sát:

Ví dụ:

Endpoint Deployment

{

    "version": "0",

    "id": "0bd4a141-0a02-9d8a-f977-3924c3fb259c",

    "detail-type": "SageMaker Endpoint Deployment State Change",

    "source": "aws.sagemaker",

    "account": "111122223333",

    "time": "2021-10-25T01:52:12Z",

    "region": "us-west-2",

    "resources": [

        "arn:aws:sagemaker:us-west-2:111122223333:endpoint/sample-endpoint"

    ],

    "detail": {

        "EndpointName": "sample-endpoint",

        "EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/sample-endpoint",

        "EndpointConfigName": "sample-endpoint-config-1",

        "ProductionVariants": [

            {

                "VariantName": "AllTraffic",

                "CurrentWeight": 1,

                "DesiredWeight": 1,

                "CurrentInstanceCount": 3,

                "DesiredInstanceCount": 3

            }

        ],

        "EndpointStatus": "UPDATING",

        "CreationTime": 1635195148181,

        "LastModifiedTime": 1635195148181,

        "Tags": {},

        "PendingDeploymentSummary": {

            "EndpointConfigName": "sample-endpoint-config-2",

            "StartTime": Timestamp,

            "ProductionVariants": [

                {

                    "VariantName": "AllTraffic",

                    "CurrentWeight": 1,

                    "DesiredWeight": 1,

                    "CurrentInstanceCount": 1,

                    "DesiredInstanceCount": 3,

                    "VariantStatus": [

                        {

                            "Status": "Baking",

                            "StatusMessage": "Baking for 600 seconds (TerminationWaitInSeconds) with traffic enabled on canary capacity of 1 instance(s).",

                            "StartTime": 1635195269181,

                        }

                    ]

                }

            ]

        }

    }

}

State Change

{

  "version": "0",

  "id": "d2921b5a-b0ad-cace-a8e3-0f159d018e06",

  "detail-type": "SageMaker Endpoint State Change",

  "source": "aws.sagemaker",

  "account": "111122223333",

  "time": "1583831889050",

  "region": "us-west-2",

  "resources": [

      "arn:aws:sagemaker:us-west-2:111122223333:endpoint/myendpoint"

  ],

  "detail": {

      "EndpointName": "MyEndpoint",

      "EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/myendpoint",

      "EndpointConfigName": "MyEndpointConfig",

      "ProductionVariants": [

          {

              "DesiredWeight": 1.0,

              "DesiredInstanceCount": 1.0

          }

      ],

      "EndpointStatus": "IN_SERVICE",

      "CreationTime": 1592411992203.0,

      "LastModifiedTime": 1592411994287.0,

      "Tags": {

      }

  }

}

Kết Luận

Việc công bố Amazon Sagmaker tích hợp Event Bridge rule đánh dấu bước cải tiến đáng kể khi sử dụng làm các ứng dụng AI tạo sinh.

Hy vọng bài viết có ích và cảm ơn độc giả!

The post Amazon SageMaker Event Bridge Integration – Giám sát và tự động hóa ML workflows appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Giới thiệu
• Kiến Trúc Tổng Quan
• Tính Năng Chính
  • 1. Hỗ Trợ Đa Dạng Phương Thức HTTP
  • 2. Xử Lý Authorization
  • 3. Tính Năng Mới: OAuth Token Refresh Chủ Động
• Cấu Hình và Triển Khai
  • Service-Linked Role
  • Headers Mặc Định
• Xử Lý Lỗi và Retry
  • Mã Lỗi và Chính Sách Retry
  • Dead-Letter Queue
• Lưu Ý Quan Trọng
  • 1. Timeout
  • 2. Rate Limiting
  • 3. Chứng chỉ và Bảo Mật
• Vùng Sẵn Sàng
  • Châu Mỹ
  • Châu Âu
  • Châu Á – Thái Bình Dương
  • Khác
• Các Headers Không Được Phép Override
• Headers Tự Động Bị Loại Bỏ
• Kết Luận
• Tài Liệu Tham Khảo

Giới thiệu

Amazon EventBridge API Destinations là một tính năng mạnh mẽ cho phép bạn kết nối và định tuyến các sự kiện giữa các dịch vụ AWS, ứng dụng SaaS và các ứng dụng công cộng hoặc riêng tư thông qua các cuộc gọi API. Trong bài viết này, chúng ta sẽ đi sâu vào chi tiết kỹ thuật của API Destinations và tính năng mới nhất – OAuth token refresh tự động.

Nguồn bài viết: https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-eventbridge-api-oauth-token-refresh

Kiến Trúc Tổng Quan

API Destinations hoạt động như một cầu nối giữa AWS EventBridge và các endpoint HTTPS bên ngoài. Khi một sự kiện phù hợp với pattern được định nghĩa trong rule hoặc pipe, EventBridge sẽ gọi endpoint HTTPS được chỉ định và gửi thông tin sự kiện trong request.

Tính Năng Chính

1. Hỗ Trợ Đa Dạng Phương Thức HTTP

API Destinations cho phép sử dụng tất cả các phương thức HTTP ngoại trừ CONNECT và TRACE. Phổ biến nhất là:

• PUT
• POST

2. Xử Lý Authorization

API Destinations sử dụng connections để định nghĩa:

• Phương thức xác thực
• Thông tin đăng nhập
• Kết nối mạng

3. Tính Năng Mới: OAuth Token Refresh Chủ Động

Tính năng mới được công bố vào tháng 12/2024 cho phép:

• Tự động làm mới token OAuth khi gần hết hạn
• Hỗ trợ cả endpoint OAuth công cộng và riêng tư
• Giảm thiểu lỗi xác thực và độ trễ
• Không phát sinh chi phí bổ sung

Cấu Hình và Triển Khai

Service-Linked Role

{

    "Version": "2012-10-17",

    "Statement": [

        {

            "Effect": "Allow",

            "Action": [

                "secretsmanager:CreateSecret",

                "secretsmanager:UpdateSecret",

                "secretsmanager:DescribeSecret",

                "secretsmanager:DeleteSecret",

                "secretsmanager:GetSecretValue",

                "secretsmanager:PutSecretValue"

            ],

            "Resource": "arn:aws:secretsmanager:*:*:secret:events!connection/*"

        }

    ]

}

Headers Mặc Định

API Destinations tự động bao gồm các headers sau trong mỗi request:

User-Agent: Amazon/EventBridge/ApiDestinations

Content-Type: application/json; charset=utf-8

Range: bytes=0-1048575

Accept-Encoding: gzip,deflate

Connection: close

Content-Length: <size-in-bytes>

Host: <server-host-and-port>

Xử Lý Lỗi và Retry

Mã Lỗi và Chính Sách Retry

• Retry tự động cho mã lỗi: 401, 407, 409, 429, và 5xx
• Không retry cho mã lỗi: 1xx, 2xx, 3xx, và các mã 4xx khác
• Hỗ trợ header Retry-After
• Thời gian retry tối đa: 24 giờ
• Số lần retry mặc định: 185 lần

Dead-Letter Queue

Để tránh mất sự kiện, bạn nên cấu hình Dead-Letter Queue (DLQ) để:

• Lưu trữ các sự kiện không thể gửi thành công
• Xử lý lại các sự kiện thất bại sau này
• Đảm bảo không mất dữ liệu

Lưu Ý Quan Trọng

1. Timeout

• Thời gian timeout tối đa cho mỗi request là 5 giây
• Requests vượt quá 5 giây sẽ bị hủy và retry

2. Rate Limiting

• Cần cấu hình invocation rate phù hợp với lượng sự kiện
• Tránh tình trạng tồn đọng sự kiện quá 24 giờ

3. Chứng chỉ và Bảo Mật

• Chỉ hỗ trợ tên miền công cộng với chứng chỉ tin cậy
• Không hỗ trợ mutual TLS (mTLS)

Vùng Sẵn Sàng

API Destinations hiện có sẵn tại các vùng AWS sau:

Châu Mỹ

• US East (N. Virginia)
• US East (Ohio)
• US West (N. California)
• US West (Oregon)
• Canada (Central)
• South America (São Paulo)

Châu Âu

• Europe (Frankfurt)
• Europe (Ireland)
• Europe (London)
• Europe (Milan)
• Europe (Paris)
• Europe (Stockholm)

Châu Á – Thái Bình Dương

• Asia Pacific (Hong Kong)
• Asia Pacific (Mumbai)
• Asia Pacific (Osaka)
• Asia Pacific (Seoul)
• Asia Pacific (Singapore)
• Asia Pacific (Sydney)
• Asia Pacific (Tokyo)

Khác

• Africa (Cape Town)
• China (Ningxia)
• China (Beijing)

Các Headers Không Được Phép Override

API Destinations không cho phép override các headers sau:

• User-Agent
• Range

Headers Tự Động Bị Loại Bỏ

EventBridge sẽ tự động loại bỏ một số headers để đảm bảo tính bảo mật và hiệu suất, bao gồm:

• A-IM
• Accept-Charset
• Accept-Datetime
• Cache-Control
• Content-MD5
• Expect
• From
• If-Match
• Max-Forwards
• Pragma
• TE
• Warning (và nhiều headers khác…)

Kết Luận

Amazon EventBridge API Destinations là một giải pháp mạnh mẽ cho việc tích hợp event-driven giữa các dịch vụ. Với tính năng OAuth token refresh mới, service này càng trở nên đáng tin cậy và dễ dàng quản lý hơn. Việc hiểu rõ các khía cạnh kỹ thuật và best practices sẽ giúp bạn triển khai thành công và tối ưu hiệu suất cho hệ thống của mình.

Tài Liệu Tham Khảo

• Amazon EventBridge API Destinations Documentation
• AWS IAM User Guide
• AWS Secrets Manager Documentation

The post Amazon EventBridge API Destinations: Cập Nhật Mới về OAuth Token Refresh appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Nội dung cập nhật
• Cấu hình IAM Role
• Cấu hình EventBridge Scheduler

Nội dung cập nhật

Có thể triển khai tự động khởi động và dừng EC2 theo các cách sau. 

1. Chọn AWS Lambda để khởi động EC2 làm EventBridge target
2. Chọn tài liệu của AWS Systems Manager Automation làm EventBridge target
3. Gọi trực tiếp API của EC2 từ EventBridge
4. Gọi trực tiếp API của EC2 từ EventBridge Scheduler 

Đặc biệt khi sử dụng Lambda ở phương pháp 1, bạn cần phải quản lý phiên bản Python của runtime. Trong bài viết này sử dụng phương pháp gọi trực tiếp API của EC2 từ EventBridge Scheduler.

Cấu hình IAM Role

1. Chọn [Tạo mới role] từ IAM Role.

2. Cấu hình một policy tin cậy tùy chỉnh như sau:

{
     "Version": "2012-10-17",
     "Statement": [
         {
               "Effect": "Allow",
               "Principal": {
                    "Service": "scheduler.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
          }
    ]
}

3. Phần thêm quyền sẽ hoạt động nếu cấp quyền khởi động và dừng EC2. Trong cột này, quyền AmazonEC2FullAccess được cấp.

Cấu hình EventBridge Scheduler

1. Chọn EventBridge Scheduler. Nhấp vào [Tạo schedule] từ [schedule].

2. Nhập [Tên schedule].

3. Về schedule pattern, ở đây thiết lập thời gian khởi động là 9 giờ theo giờ Nhật Bản. Chọn [Schedule định kỳ],  vì là giờ Nhật nên chọn múi giờ “UTC+09:00”. Thiết lập khởi động vào lúc 9 giờ từ thứ Hai đến thứ Sáu.

4. Tắt flextime window và không nhập thông tin về thời gian ban ngày.

5. Tiếp theo, tiến hành “Chọn target” như bước 2. Chọn “EC2” từ tất cả các API.

6. Chọn API “StartInstances” từ API của Amazon EC2.

7. Mặc dù có thể chỉ định ID của nhiều EC2 instance, nhưng tuỳ thuộc vào kết quả giám sát của CloudWatch để vận hành, ví dụ như khi khởi động lại instance, bạn sẽ cần phải sửa đổi schedule mỗi lần. Vì vậy chỉ định tag bằng phương pháp khác sẽ là lý tưởng nhất.

8. Kích hoạt schedule trong cài đặt bước 3. Mặc định, số lần thử lại là “185 lần”, thay đổi thành 10 lần.

9. Tại phần quyền truy cập, chọn “Sử dụng role hiện có” và chỉ định IAM role  đã được tạo trước đó.

10. Xác nhận và tạo schedule sau khi kiểm tra lại cài đặt.

The post Tự khởi động và dừng EC2 Instances thông qua Amazon EventBridge appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

https://aws.amazon.com/about-aws/whats-new/2024/02/aws-transfer-family-publishes-events-amazon-eventbridge-sftp-connectors/
https://aws.amazon.com/about-aws/whats-new/2024/02/aws-transfer-family-publishes-events-eventbridge-servers/

Về AWS Transfer Family

AWS Transfer Family  là một dịch vụ quản lý sử dụng các giao thức SFTP, FTP để truyền tệp an toàn, thường xuyên giữa các dịch vụ AWS Storage. Có thể mã hoá tất cả bản truyền dữ liệu trong các giao thức khác nhau.

AWS Transfer Family hỗ trợ tối đa 3 availability zone, được hỗ trợ bởi automatic scaling và redundant fleet cho các yêu cầu kết nối và truyền tải.

Các giao thức được hỗ trợ bao gồm:

Secure Shell (SSH) File Transfer Protocol (SFTP): version 3

Giao thức Truyền tệp An toàn (SFTP) là một giao thức mạng an toàn được sử dụng để truy cập, truyền tải và quản lý các tệp lớn và dữ liệu nhạy cảm. Được phát triển như một phần mở rộng của Secure Shell (SSH), SFTP cung cấp khả năng truy cập, truyền tải và quản lý tệp tin qua mạng một cách an toàn. Giao thức này hỗ trợ đầy đủ các tính năng bảo mật và xác thực, được sử dụng rộng rãi trong nhiều ngành công nghiệp như dịch vụ tài chính, chăm sóc sức khỏe, truyền thông và giải trí, bán lẻ và quảng cáo…

File Transfer Protocol Secure (FTPS)

File Transfer Protocol Secure (FTPS), một phiên bản mở rộng của FTP.  FTPS sử dụng các channel riêng biệt để điều khiển và truyền dữ liệu, hỗ trợ mã hóa.

File Transfer Protocol (FTP)

File Transfer Protocol (FTP) sử dụng các channel riêng biệt để điều khiển và truyền dữ liệu, không hỗ trợ mã hóa.

Applicability Statement 2 (AS2)

Applicability Statement 2 (AS2), một giao thức mạng cho phép truyền tải dữ liệu giữa các doanh nghiệp một các an toàn thông qua public internet và qua HTTP/HTTPS (hoặc bất kỳ mạng TCP/IP nào).

File sharing endpoint

Cho phép truyền tải tệp giữa Amazon S3 và Amazon EFS thông qua SFTP, FTPS, FTP 

Applicable Statement2

Cho phép chuyển tệp sang S3 bằng giao thức AS2

SFTP connector

Cho phép truyền dữ liệu giữa remote SFTP servers và Amazon S3

Nội dung cập nhật

AWS Transfer Family hiện có thể công bố các sự kiện trên Amazon EventBridge mà không cần chọn loại sự kiện cụ thể để phân phối.

Có thể tạo EventBridge rule để định tuyến sự kiện đến các target bổ sung.

Cho phép kích hoạt các quy trình làm việc có điều kiện thông qua việc phát hành sự kiện truyền tệp FTP, FTPS và FTP trên Amazon EventBridge gần như theo thời gian thực.

Trên Amazon EventBridge hiện cũng công khai thông báo sự kiện truyền tệp cho SFTP connector.

Ưu điểm của bản cập nhật

Transfer Family Managed File Transfer Workflows (MFTW) có thể được tận dụng nhiều hơn nữa. Đầu tiên, MFT Workflow là một dịch vụ workflow truyền tải tệp không máy chủ, được quản lý đầy đủ. Sử dụng AWS Transfer Familycho để dễ dàng thiết lập, thực hiện, tự động hóa và giám sát quá trình xử lý các tệp được tải lên.

Tất cả các tài nguyên AWS Transfer Family bao gồm SFTP Connector, SFTP, AS2, FTPS, FTP server endpoint đều có thể phát hành thông báo sự kiện, do đó bạn có thể xây dựng một kiến trúc truyền tải tệp quản lý dựa trên sự kiện (MFT) trong AWS.

Các bước xử lý như sao chép, gắn thẻ, quét, lọc, nén/giải nén, mã hóa/giải mã dữ liệu được truyền bằng Transfer Family có thể được tự động hóa thông qua Event Bridge.

Tổng kết

Hôm nay, chúng tôi đã giới thiệu bản cập nhật này giúp bạn công bố sự kiện Transfer Family lên EventBridge

Hỗ trợ thông báo sự kiện theo thời gian thực, cải thiện đáng kể khả năng phản hồi và năng suất.

Cho phép tạo các quy trình làm việc phức tạp phù hợp với nhu cầu kinh doanh cụ thể nhờ vào khả năng lọc và định tuyến nâng cao của Amazon EventBridge.

Tham khảo: 【アップデート】AWS Transfer FamilyはSFTPコネクタ、SFTP、FTPS、FTPサーバ用のAmazon EventBridgeにイベントが公開できるようになりました | SunnyCloud

The post AWS Transfer Family hiện có thể công bố sự kiện lên Amazon EventBridge sử dụng SFTP connector, SFTP, FTPS, và FTP server appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.