Mới đây, tại sự kiện AWS Re:Invent 2023, AWS đã công bố sự tích hợp Zero ETL với Amazon Redshift, Amazon Aurora PostgreSQL, Amazon DynamoDB và Amazon RDS for MySQL. Trong bài viết này, chúng tôi sẽ giới thiệu một cách đơn giản về tích hợp Zero ETL với Amazon OpenSearch Service.

Nội dung bản cập nhật

Dữ liệu từ Amazon DynamoDB hiện nay đã được nâng cấp với các tính năng tìm kiếm nâng cao như tìm kiếm full text và tìm kiếm vector. Quy trình thực hiện được tiến hành thông qua việc sử dụng Amazon OpenSearch Ingestion để đồng bộ dữ liệu giữa Amazon DynamoDB và Amazon OpenSearch Service:

B1: Chọn bảng DynamoDB mà bạn muốn đồng bộ

B2: Amazon OpenSearch Ingestion tiến hành đồng bộ dữ liệu vào một cluster hoặc bộ sưu tập không server do OpenSearch quản lý trong vài giây sau khi dữ liệu sẵn sàng.

Các trường của Amazon DynamoDB cũng có thể được gán chính xác với các trường tương ứng trong chỉ mục dịch vụ Amazon OpenSearch. Ngoài ra, dữ liệu từ bảng DynamoDB cũng có thể được đồng bộ vào một cluster hoặc serverless collection được quản lý bởi Amazon OpenSearch Service.

Với bản cập nhật tích hợp Zero ETL với Amazon OpenSearch Service lần này, việc sao chép và chuyển đổi dữ liệu từ DynamoDB trở nên tự động hóa mà không cần sử dụng custom code (mã tùy chỉnh) hay cơ sở hạ tầng phức tạp. Điều này mang lại lợi ích giảm áp lực vận hành và giảm chi phí duy trì dữ liệu cho người dùng.

Bắt đầu tích hợp Zero ETL với Amazon OpenSearch Service

  1. Chọn menu “Integrations” ở bên trái DynamoDB console và chọn bảng DynamoDB muốn đồng bộ. Để sử dụng, bạn cần bật tính năng point-in-time recovery (PITR) và tính năng DynamoDB Streams.
    Nhấp vào “Turn on” và kích hoạt DynamoDB Streams trong tab “Exports & Streams”.
Mục Integrations mới trong DynamoDB
Mục Integrations mới trong DynamoDB
  1.  Chọn vào “Create” để sao chép dữ liệu vào miền được quản lý bởi OpenSearch Service. Bảng sau sẽ hiện ra.
Bảng tạo Pipeline trong Amazon OpenSearch Service
Bảng tạo Pipeline trong Amazon OpenSearch Service
  1. Đầu tiên nhập tên pipeline, thiết lập dung lượng và tài nguyên điện toán cho pipeline đó.
Bảng Pipe Settings
Bảng Pipe Settings
  1. Có thể cấu hình cấu trúc pipeline được định nghĩa sẵn dưới dạng tệp YAML.

Khu vực hỗ trợ

Có thể sử dụng Opensearch ở 13 khu vực:

  • US East (Ohio)
  • US East (N. Virginia)
  • US West (Oregon)
  • US West (N. California)
  • Europe (Ireland)
  • Europe (London)
  • Europe (Frankfurt)
  • Asia Pacific (Tokyo)
  • Asia Pacific (Sydney)
  • Asia Pacific (Singapore)
  • Asia Pacific (Mumbai)
  • Asia Pacific (Seoul)
  • Canada (Central)

Tham khảo: Amazon DynamoDB と Amazon OpenSearch Service のゼロ ETLの統合が発表されました（GAです） | SunnyCloud