Mục lục bài viết

Amazon Web Services (AWS) vừa công bố một cập nhật đáng chú ý cho Amazon SageMaker, nâng cao đáng kể khả năng tùy chỉnh trong quá trình triển khai mô hình machine learning (ML).

Tính năng mới: Tùy chỉnh phiên bản phần mềm và driver

Nội dung cập nhật

. Trước đây: Người dùng phải sử dụng các phiên bản phần mềm và driver được SageMaker định sẵn trên các instance được quản lý phía sau endpoint.

. Hiện nay: Người dùng có thể chỉ định tham số “InferenceAmiVersion” trong ProductionVariant khi cấu hình endpoint để lựa chọn kết hợp phiên bản phần mềm và driver phù hợp nhất với yêu cầu của họ.

Lợi ích chính

  1. Kiểm soát phiên bản: Có thể nâng cấp hoặc hạ cấp phiên bản driver cho endpoint theo lịch trình riêng.
  2. Tối ưu hóa hiệu suất: Chọn kết hợp phần mềm và driver tốt nhất cho use case cụ thể, cải thiện hiệu suất tổng thể.

Cách sử dụng InferenceAmiVersion trong ProductionVariant

Khi cấu hình ProductionVariant cho endpoint, chúng ta có thể  sử dụng tham số InferenceAmiVersion để chỉ định phiên bản AMI mong muốn.

Ví dụ:

InferenceAmiVersion = "al2-ami-sagemaker-inference-gpu-2"

Giải thích tùy chọn trên:

  1. Accelerator: GPU
  2. NVIDIA driver version: 535.54.03
  3. CUDA driver version: 12.2
  4. Hỗ trợ các loại instance: ml.g4dn., ml.g5., ml.g6., ml.p3., ml.p4d., ml.p4de., ml.p5.*

Ví dụ cấu hình ProductionVariant:

production_variant = {

    "VariantName": "MyVariant",

    "ModelName": "MyModel",

    "InstanceType": "ml.g5.xlarge",

    "InitialInstanceCount": 1,

    "InferenceAmiVersion": "al2-ami-sagemaker-inference-gpu-2"

}

Ví dụ cấu hình ProductionVariant nâng cao:

production_variant = {

    "VariantName": "MyVariant",

    "ModelName": "MyModel",

    "InstanceType": "ml.g5.xlarge",

    "InitialInstanceCount": 1,

    "InferenceAmiVersion": "al2-ami-sagemaker-inference-gpu-2",

    "VolumeSizeInGB": 50,

    "ContainerStartupHealthCheckTimeoutInSeconds": 300,

    "ModelDataDownloadTimeoutInSeconds": 900,

    "EnableSSMAccess": True

}

Kết luận

Vậy là hôm nay tôi đã chia sẻ tính năng mới trong Amazon Sagmaker giúp tùy chỉnh phiên bản phần mềm và driver kết hợp với ProductionVariant cho phép tùy chọn cấu hình một cách mạnh mẽ, cung cấp cho nhà phát triển khả năng kiểm soát và tối ưu hóa việc triển khai mô hình ML.