• SageMaker Distribution là gì?
  • Deep Learning Frameworks
  • Data Science Essentials
  • Development Tools
  • Điểm đặc biệt ở đây là:
• Cách sử dụng
  • Trên laptop cá nhân
• Kết luận

Khi cài đặt môi trường cho machine learning, thường sẽ gặp các vấn đề như Conflict giữa TensorFlow và PyTorch, Numpy không tương thích với Pandas. Cho nên Amazon SageMaker Distribution sinh ra để giải quyết triệt để những khó khăn này.

SageMaker Distribution là gì?

SageMaker Distribution là kho lưu trữ các frameworks, library, tools cần thiết cho việt huấn luyện AI, nó đã có sẵn mọi thứ, đã test kỹ, chỉ việc code

Nghĩa là đã có:

Deep Learning Frameworks

• PyTorch – Cho những ai thích flexibility
• TensorFlow – Dành cho fan của Google
• Keras – Simple is best

Data Science Essentials

• NumPy, Pandas – Những thư viện cần thiết cho data science
• Scikit-learn – ML algorithms đủ loại
• Matplotlib, Seaborn – Vẽ chart rất đẹp

Development Tools

• JupyterLab – IDE yêu thích của data scientists
• Git, Conda – Version control và package management

Điểm đặc biệt ở đây là:

• Tất cả đã compatible – Không lo conflict
• Versions mới nhất – Always up-to-date
• CPU và GPU variants – Tùy chọn theo nhu cầu

Cách sử dụng

Trên laptop cá nhân

# Pull image

export ECR_IMAGE_ID='public.ecr.aws/sagemaker/sagemaker-distribution:latest-cpu'

# Run với JupyterLab

docker run -it \

    -p 8888:8888 \

    -v `pwd`/my-notebooks:/home/sagemaker-user/notebooks \

    $ECR_IMAGE_ID jupyter-lab --no-browser --ip=0.0.0.0

# Mở browser: http://127.0.0.1:8888/lab?token=xxx

Pro tip: Mount folder local để save notebooks!

Kết luận

Amazon SageMaker Distribution giải quyết các khó khăn trong quá trình huấn luyện mô hình AI như conflict thư viện, lỗi cài đặt, … giúp tiết kiệm thời gian công sức rất nhiều.

Có thể tham khảo repo sau để hiện thực, cảm ơn đã đọc đến cuối bài viết!

 GitHub repo

The post Amazon SageMaker Distribution: Docker Image để làm AI appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Hiện tại  Amazon SageMaker Training đã hỗ trợ Amazon EC2 P6-B200!
  • Các thông số kỹ thuật của P6-B200:
• Trước tiên chúng ta nói về SageMaker Training
• Amazon SageMaker Training có 3 cách tiếp cận:
  • 1. Dành cho người mới: No-code với SageMaker Canvas
  • 2. Level trung bình: Built-in Algorithms
  • 3. Pro level: Custom Scripts & Containers
• Các tính năng khác
  • 1. SageMaker JumpStart – Đây gọi là kho các model
  • 2. SageMaker HyperPod – Các Cluster GPU
  • 3. Hyperparameter Tuning – Chứa các hyperparameters
  • 4. Distributed Training – Phân chia nhỏ để training
• Các khuyến nghị khi bắt đầu training
  • 1. Bắt đầu nhỏ, scale sau
  • 2. Monitor everything
  • 3. Version control
• Kết luận: 

Việc setup server, cài đặt GPU driver, quản lý tài nguyên tốn nhiều thời gian và công sức cho doanh nghiệp và cá nhân các nhà phát triển, cho nên Amazon SageMaker Training chính là công cụ tuyệt vời giúp bạn tập trung vào điều quan trọng nhất – xây dựng mô hình AI của mình.

Nguồn: https://aws.amazon.com/about-aws/whats-new/2025/06/amazon-sagemaker-ai-training-jobs-general-availability-p6-b200-instances

Hiện tại Amazon SageMaker Training đã hỗ trợ Amazon EC2 P6-B200!

Các thông số kỹ thuật của P6-B200:

• Hiệu suất gấp đôi so với P5en instances
• 8 GPU Blackwell với 1440 GB bộ nhớ GPU tốc độ cao
• Băng thông tăng 60% so với thế hệ trước
• Mạng EFAv4 lên đến 3.2 terabit/giây
• AWS Nitro System đảm bảo mở rộng lên đến hàng chục nghìn GPU

Các thông số ấn tượng trên giúp cho việc training model trở nên thuận tiện và nhanh chóng hơn rất nhiều.

Trước tiên chúng ta nói về SageMaker Training

Thay vì phải build cơ sở hạ tầng, cài đặt các công cụ, thuê GPU, … đế training model. Thì trên AWS đã có sẵn công cụ tích hợp tất cả các điều này.

Cho nên với SageMaker Training, chúng ta chỉ cần tập trung vào code( tức là việc xây dựng business cho việc đào tạo mô hình) cũng như dữ liệu đầu vào.

Amazon SageMaker Training có 3 cách tiếp cận:

1. Dành cho người mới: No-code với SageMaker Canvas

Phù hợp khi:

• Bạn không biết code hoặc không muốn code
• Muốn thử nghiệm nhanh với AI
• Cần kết quả nhanh cho business

Cách dùng:

• Upload data
• Click chọn loại model
• Nhấn “Train”
• Đợi kết quả!

Ví dụ thực tế: 

Một shop online muốn dự đoán doanh thu tháng sau dựa trên data bán hàng – chỉ cần upload file Excel và chọn “Forecast”!l

2. Level trung bình: Built-in Algorithms

Phù hợp khi:

• Biết Python cơ bản
• Muốn tùy chỉnh hyperparameters
• Cần algorithms chuyên biệt như XGBoost

Code ví dụ:

from sagemaker import XGBoost

# Khởi tạo model

xgb = XGBoost(

    entry_point="train.py",

    role=role,

    instance_type="ml.m5.xlarge",

    instance_count=1,

    hyperparameters={

        "max_depth": 5,

        "eta": 0.2,

        "objective": "binary:logistic"

    }

)

# Train model

xgb.fit({"train": train_data})

Use case: 

Ngân hàng dự đoán khả năng vỡ nợ của khách hàng với XGBoost.

3. Pro level: Custom Scripts & Containers

Phù hợp khi:

• Cần kiểm soát hoàn toàn
• Train model phức tạp, scale lớn
• Sử dụng frameworks đặc biệt

Sức mạnh:

• Distributed training trên hàng trăm GPU
• Custom Docker containers
• Tích hợp với mọi ML framework

Ví dụ: 

Startup AI Việt Nam train model nhận diện giọng nói tiếng Việt với custom architecture trên 100 GPU instances.

Các tính năng khác

1. SageMaker JumpStart – Đây gọi là kho các model

• Truy cập hàng trăm foundation models
• Fine-tune GPT, Claude, Llama… cho use case riêng
• Deploy trong vài click

2. SageMaker HyperPod – Các Cluster GPU

• Cluster GPU persistent cho project lớn
• Tự động phục hồi khi có lỗi
• Scale lên hàng nghìn GPU

3. Hyperparameter Tuning – Chứa các hyperparameters

• Tự động thử nhiều combinations
• Tìm ra hyperparameters tốt nhất
• Tiết kiệm hàng tuần tuning thủ công

4. Distributed Training – Phân chia nhỏ để training

• Train model lớn trên nhiều GPU/instances
• Optimized cho AWS infrastructure
• Hỗ trợ PyTorch, TensorFlow, MXNet

Các khuyến nghị khi bắt đầu training

1. Bắt đầu nhỏ, scale sau

• Test với sample data trước
• Dùng instance nhỏ cho development
• Scale up khi production

2. Monitor everything

• Dùng SageMaker Debugger
• Track metrics với CloudWatch
• Profile performance bottlenecks

3. Version control

• Lưu model artifacts trong S3
• Track experiments với SageMaker Experiments

Kết luận:

Với Amazon SageMaker Training việc huấn luyện AI đã trở nên đơn giản hơn rất nhiều.

Chúng ta không cần chuẩn bị từ đầu giúp tiết kiệm thời gian hơn rất nhiều.

Hy vọng bài viết có ích và cảm ơn độc giả đã đọc đến cuối!

The post Amazon SageMaker Training: vừa công bố hỗ trợ Amazon EC2 P6-B200 appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Giới thiệu
  • Tại sao Event Bridge Integration quan trọng?
• Tổng quan EventBridge
  • EventBridge là gì?
  • Cách hoạt động:
• Các loại SageMaker Events
  • Danh sách đầy đủ các events được giám sát:
• Kết Luận

Giới thiệu

Amazon SageMaker HyperPod giờ đây tích hợp với Amazon EventBridge, cho phép bạn nhận thông báo gần như thời gian thực về các thay đổi trạng thái của cluster! Điều này mở ra khả năng tự động hóa mạnh mẽ cho các quy trình machine learning.

Amazon Event Bridge giám sát các sự kiện thay đổi trạng thái trong Amazon SageMaker AI, cho phép bạn tự động hóa SageMaker và phản hồi tự động với các sự kiện như thay đổi trạng thái training job hoặc endpoint status change.

Nguồn: https://aws.amazon.com/about-aws/whats-new/2025/05/amazon-sagemaker-hyperpod-integrates-amazon-eventbridge-status-change-events/

Tại sao Event Bridge Integration quan trọng?

Với tích hợp Event Bridge, bạn có thể:

• Theo dõi real-time – Nhận thông báo ngay lập tức về status changes
• Tự động hóa workflows – Trigger actions tự động khi có sự kiện
• Thông báo thông minh – Thiết lập alerts cho các events quan trọng
• Giám sát toàn diện – Theo dõi toàn bộ ML pipeline
• Tích hợp liền mạch – Kết nối với các AWS services khác

Tổng quan EventBridge

EventBridge là gì?

Amazon EventBridge là dịch vụ eventbus serverless giúp kết nối các ứng dụng với dữ liệu từ nhiều nguồn khác nhau. Với SageMaker integration:

• Near real-time delivery – Events được gửi gần như thời gian thực
• Simple rules – Viết rules đơn giản để định nghĩa events quan tâm
• Automated actions – Thực hiện actions tự động khi event match rule
• Rich integrations – Tích hợp với nhiều AWS services

Cách hoạt động:

SageMaker AI → EventBridge → Rules → Target Actions

     ↓              ↓          ↓            ↓

Status Change → Event Bus → Filtering → Lambda/SNS/SQS

Các loại SageMaker Events

Danh sách đầy đủ các events được giám sát:

Ví dụ:

Endpoint Deployment

{

    "version": "0",

    "id": "0bd4a141-0a02-9d8a-f977-3924c3fb259c",

    "detail-type": "SageMaker Endpoint Deployment State Change",

    "source": "aws.sagemaker",

    "account": "111122223333",

    "time": "2021-10-25T01:52:12Z",

    "region": "us-west-2",

    "resources": [

        "arn:aws:sagemaker:us-west-2:111122223333:endpoint/sample-endpoint"

    ],

    "detail": {

        "EndpointName": "sample-endpoint",

        "EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/sample-endpoint",

        "EndpointConfigName": "sample-endpoint-config-1",

        "ProductionVariants": [

            {

                "VariantName": "AllTraffic",

                "CurrentWeight": 1,

                "DesiredWeight": 1,

                "CurrentInstanceCount": 3,

                "DesiredInstanceCount": 3

            }

        ],

        "EndpointStatus": "UPDATING",

        "CreationTime": 1635195148181,

        "LastModifiedTime": 1635195148181,

        "Tags": {},

        "PendingDeploymentSummary": {

            "EndpointConfigName": "sample-endpoint-config-2",

            "StartTime": Timestamp,

            "ProductionVariants": [

                {

                    "VariantName": "AllTraffic",

                    "CurrentWeight": 1,

                    "DesiredWeight": 1,

                    "CurrentInstanceCount": 1,

                    "DesiredInstanceCount": 3,

                    "VariantStatus": [

                        {

                            "Status": "Baking",

                            "StatusMessage": "Baking for 600 seconds (TerminationWaitInSeconds) with traffic enabled on canary capacity of 1 instance(s).",

                            "StartTime": 1635195269181,

                        }

                    ]

                }

            ]

        }

    }

}

State Change

{

  "version": "0",

  "id": "d2921b5a-b0ad-cace-a8e3-0f159d018e06",

  "detail-type": "SageMaker Endpoint State Change",

  "source": "aws.sagemaker",

  "account": "111122223333",

  "time": "1583831889050",

  "region": "us-west-2",

  "resources": [

      "arn:aws:sagemaker:us-west-2:111122223333:endpoint/myendpoint"

  ],

  "detail": {

      "EndpointName": "MyEndpoint",

      "EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/myendpoint",

      "EndpointConfigName": "MyEndpointConfig",

      "ProductionVariants": [

          {

              "DesiredWeight": 1.0,

              "DesiredInstanceCount": 1.0

          }

      ],

      "EndpointStatus": "IN_SERVICE",

      "CreationTime": 1592411992203.0,

      "LastModifiedTime": 1592411994287.0,

      "Tags": {

      }

  }

}

Kết Luận

Việc công bố Amazon Sagmaker tích hợp Event Bridge rule đánh dấu bước cải tiến đáng kể khi sử dụng làm các ứng dụng AI tạo sinh.

Hy vọng bài viết có ích và cảm ơn độc giả!

The post Amazon SageMaker Event Bridge Integration – Giám sát và tự động hóa ML workflows appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Những Tính Năng Mới
  • 1. Khởi Động Nhanh Trong 30 Phút
  • 2. Tự Động Chia Nhỏ Thời Gian Đặt Trước
• Cách Sử Dụng Training Plans
  • 1. Thông Qua SageMaker AI Console
  • 2. Sử Dụng API
    • Tìm Kiếm Training Plan
    • Tạo Training Plan
    • Liệt Kê và Xem Chi Tiết
• Các API Actions Chính
• Lợi Ích Cho Người Dùng
• Kết Luận

Amazon vừa công bố cập nhật quan trọng cho SageMaker Hyperpod Flexible Training Plans cho phép khởi động ngay lập tức và nhiều tùy chọn đặt trước tài nguyên.

Chi tiết có thể tham khảo ở đây:

https://aws.amazon.com/about-aws/whats-new/2025/03/sagemaker-hyperpod-flexible-training-plans-instant-start-times-multiple-offers

Những Tính Năng Mới

1. Khởi Động Nhanh Trong 30 Phút

• Tự động tìm kiếm khung thời gian phù hợp
• Tối ưu hóa việc phân bổ tài nguyên GPU

2. Tự Động Chia Nhỏ Thời Gian Đặt Trước

SageMaker giờ đây có thể:

• Tìm kiếm một khối thời gian liên tục phù hợp
• Tự động chia nhỏ thành hai phân đoạn nếu cần thiết
• Đảm bảo tổng thời gian đáp ứng yêu cầu của người dùng

Cách Sử Dụng Training Plans

1. Thông Qua SageMaker AI Console

2. Sử Dụng API

Tìm Kiếm Training Plan

import boto3

sagemaker = boto3.client('sagemaker')

# Tìm kiếm các training plan có sẵn

response = sagemaker.search_training_plan_offerings(

    InstanceType='ml.p4d.24xlarge',

    InstanceCount=4,

    StartTimeRange={

        'EarliestTime': '2025-03-05T00:00:00',

        'LatestTime': '2025-03-06T00:00:00'

    },

    DurationInHours=24

)

Tạo Training Plan

# Đặt trước training plan

plan = sagemaker.create_training_plan(

    TrainingPlanOfferingId=response['TrainingPlanOfferings'][0]['Id'],

    TrainingPlanName='MyMLProject'

)

Liệt Kê và Xem Chi Tiết

# Liệt kê tất cả training plans

all_plans = sagemaker.list_training_plans()

# Xem chi tiết một training plan cụ thể

plan_details = sagemaker.describe_training_plan(

    TrainingPlanArn='arn:aws:sagemaker:region:account:training-plan/plan-id'

)

Các API Actions Chính

1. SearchTrainingPlanOfferings
   
   • Tìm kiếm tài nguyên tính toán có sẵn
   • Chỉ định loại instance, số lượng và khung thời gian
   • Nhận danh sách được xếp hạng các tùy chọn phù hợp
2. CreateTrainingPlan
   
   • Đặt trước một training plan cụ thể
   • Chuyển đổi capacity tiềm năng thành scheduled reserved capacities
   • Tạo ARN độc nhất cho training plan
3. ListTrainingPlans
   
   • Xem tất cả training plans trong tài khoản AWS
   • Hỗ trợ lọc và sắp xếp
   • Quản lý nhiều plans cùng lúc
4. DescribeTrainingPlan
   
   • Xem chi tiết một training plan cụ thể
   • Theo dõi trạng thái từ Pending đến Active và Expired
   • Kiểm soát vòng đời của training plan

Lợi Ích Cho Người Dùng

1. Tiết Kiệm Thời Gian
   
   • Khởi động nhanh trong vòng 30 phút
   • Không cần chờ đợi lâu để bắt đầu training
2. Linh Hoạt Trong Sử Dụng
   
   • Nhiều tùy chọn đặt trước
   • Tự động tối ưu hóa thời gian
3. Quản Lý Chi Phí Hiệu Quả
   
   • Không yêu cầu cam kết dài hạn
   • Chỉ trả tiền cho thời gian sử dụng thực tế

Kết Luận

SageMaker Hyperpod Flexible Training Plans với khả năng khởi động nhanh và nhiều tùy chọn đặt trước, người dùng có thể dễ dàng lên kế hoạch và thực hiện các dự án ML một cách hiệu quả hơn.

Cảm ơn các bạn đã đọc đến cuối bài viết!

The post Amazon SageMaker Hyperpod: Tính Năng Mới Cho Flexible Training Plans appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Nội dung cập nhật
• Lợi ích chính
• Cách sử dụng InferenceAmiVersion trong ProductionVariant
• Kết luận

Amazon Web Services (AWS) vừa công bố một cập nhật đáng chú ý cho Amazon SageMaker, nâng cao đáng kể khả năng tùy chỉnh trong quá trình triển khai mô hình machine learning (ML).

Tính năng mới: Tùy chỉnh phiên bản phần mềm và driver

Nội dung cập nhật

. Trước đây: Người dùng phải sử dụng các phiên bản phần mềm và driver được SageMaker định sẵn trên các instance được quản lý phía sau endpoint.

. Hiện nay: Người dùng có thể chỉ định tham số “InferenceAmiVersion” trong ProductionVariant khi cấu hình endpoint để lựa chọn kết hợp phiên bản phần mềm và driver phù hợp nhất với yêu cầu của họ.

Lợi ích chính

1. Kiểm soát phiên bản: Có thể nâng cấp hoặc hạ cấp phiên bản driver cho endpoint theo lịch trình riêng.
2. Tối ưu hóa hiệu suất: Chọn kết hợp phần mềm và driver tốt nhất cho use case cụ thể, cải thiện hiệu suất tổng thể.

Cách sử dụng InferenceAmiVersion trong ProductionVariant

Khi cấu hình ProductionVariant cho endpoint, chúng ta có thể  sử dụng tham số InferenceAmiVersion để chỉ định phiên bản AMI mong muốn.

Ví dụ:

InferenceAmiVersion = "al2-ami-sagemaker-inference-gpu-2"

Giải thích tùy chọn trên:

1. Accelerator: GPU
2. NVIDIA driver version: 535.54.03
3. CUDA driver version: 12.2
4. Hỗ trợ các loại instance: ml.g4dn., ml.g5., ml.g6., ml.p3., ml.p4d., ml.p4de., ml.p5.*

Ví dụ cấu hình ProductionVariant:

production_variant = {

    "VariantName": "MyVariant",

    "ModelName": "MyModel",

    "InstanceType": "ml.g5.xlarge",

    "InitialInstanceCount": 1,

    "InferenceAmiVersion": "al2-ami-sagemaker-inference-gpu-2"

}

Ví dụ cấu hình ProductionVariant nâng cao:

production_variant = {

    "VariantName": "MyVariant",

    "ModelName": "MyModel",

    "InstanceType": "ml.g5.xlarge",

    "InitialInstanceCount": 1,

    "InferenceAmiVersion": "al2-ami-sagemaker-inference-gpu-2",

    "VolumeSizeInGB": 50,

    "ContainerStartupHealthCheckTimeoutInSeconds": 300,

    "ModelDataDownloadTimeoutInSeconds": 900,

    "EnableSSMAccess": True

}

Kết luận

Vậy là hôm nay tôi đã chia sẻ tính năng mới trong Amazon Sagmaker giúp tùy chỉnh phiên bản phần mềm và driver kết hợp với ProductionVariant cho phép tùy chọn cấu hình một cách mạnh mẽ, cung cấp cho nhà phát triển khả năng kiểm soát và tối ưu hóa việc triển khai mô hình ML.

The post Amazon SageMaker Nâng Cao Khả Năng Tùy Chỉnh Triển Khai Mô Hình appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Giới thiệu về Amazon EC2 G6e Instances
• Ứng dụng của G6e Instances
• Các Region khả dụng
• Kết luận

Amazon Web Services (AWS) vừa công bố cho cộng đồng machine learning và AI: Amazon SageMaker Studio notebooks giờ đây đã hỗ trợ instance types G6e của Amazon EC2. 

Giới thiệu về Amazon EC2 G6e Instances

Amazon EC2 G6e instances là thế hệ mới nhất của các instance GPU hiệu năng cao, được thiết kế đặc biệt cho các tác vụ machine learning và AI phức tạp. Chúng có những đặc điểm nổi bật  như sau:

1. GPU mạnh mẽ: Mỗi instance được trang bị tối đa 8 GPU NVIDIA L40s Tensor Core.
2. Bộ nhớ lớn: 48 GB bộ nhớ cho mỗi GPU.
3. CPU tiên tiến: Sử dụng bộ xử lý AMD EPYC thế hệ thứ ba.
4. Hiệu suất vượt trội: Cung cấp hiệu suất tốt hơn gấp 2.5 lần so với instances EC2 G5.

Ứng dụng của G6e Instances

Với SageMaker Studio notebooks, các nhà phát triển và nhà khoa học dữ liệu giờ đây có thể:

1. Kiểm thử triển khai mô hình: Thực hiện các bài kiểm tra tương tác về việc triển khai mô hình.
2. Huấn luyện mô hình tương tác: Đặc biệt hữu ích cho các trường hợp như fine-tuning mô hình AI tạo sinh.
3. Triển khai LLMs: Có khả năng triển khai các mô hình ngôn ngữ lớn (LLMs) với tối đa 13 tỷ tham số.

Các Region khả dụng

1. US East (N. Virginia)
2. US East (Ohio)
3. US West (Oregon)

Kết luận

Với hiệu suất vượt trội và khả năng xử lý các mô hình phức tạp, G6e instances mở ra nhiều cơ hội mới cho việc phát triển và triển khai các ứng dụng AI tiên tiến.

The post Amazon SageMaker Studio Notebooks Nay Đã Hỗ Trợ Instance Types G6e appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Kết nối SageMaker Thông qua VPC Interface Endpoint
• Lợi ích
• Cách Thiết lập
• VPC Endpoint Policy
• Kết luận

Amazon Web Services (AWS) giới thiệu tính năng tăng cường bảo mật cho Amazon SageMaker bằng cách cung cấp khả năng kết nối thông qua VPC.

Kết nối SageMaker Thông qua VPC Interface Endpoint

Amazon SageMaker cho phép bạn kết nối trực tiếp với API SageMaker hoặc Amazon SageMaker Runtime thông qua một interface endpoint trong Virtual Private Cloud (VPC) của bạn, thay vì kết nối qua internet.

Sơ đồ cho thấy một ứng dụng trong VPC sử dụng AWS PrivateLink để giao tiếp với SageMaker Runtime, sau đó SageMaker Runtime giao tiếp với SageMaker endpoint.

Lợi ích

1. Giao tiếp an toàn: Toàn bộ quá trình giao tiếp diễn ra trong mạng AWS.
2. Không cần Internet Gateway: Các instance trong VPC không cần kết nối internet công cộng.
3. Bảo mật nâng cao: Giảm thiểu rủi ro từ các mối đe dọa bên ngoài.

Cách Thiết lập

1. Tạo AWS PrivateLink interface endpoint sử dụng AWS Management Console hoặc AWS CLI.
2. Nếu chưa bật private DNS hostname cho VPC endpoint, chỉ định URL endpoint internet cho SageMaker API hoặc Runtime.

Ví dụ dùng CLI:

aws sagemaker list-notebook-instances --endpoint-url VPC_Endpoint_ID.api.sagemaker.Region.vpce.amazonaws.com

aws sagemaker list-training-jobs --endpoint-url VPC_Endpoint_ID.api.sagemaker.Region.vpce.amazonaws.com

aws sagemaker-runtime invoke-endpoint --endpoint-url https://VPC_Endpoint_ID.runtime.sagemaker.Region.vpce.amazonaws.com  \

    --endpoint-name Endpoint_Name \

    --body "Endpoint_Body" \

    --content-type "Content_Type" \

            Output_File

VPC Endpoint Policy

Tạo policy cho VPC endpoints để kiểm soát quyền truy cập:

{

  "Statement": [

      {

          "Action": "sagemaker:InvokeEndpoint",

          "Effect": "Allow",

          "Resource": "arn:aws:sagemaker:us-west-2:123456789012:endpoint/myEndpoint",

          "Principal": "*"

      }

  ]

}

Kết luận

Với việc hỗ trợ kết nối thông qua VPC, Amazon SageMaker đã nâng cao đáng kể khả năng bảo mật cho các dự án Machine Learning và AI.

Hy vọng những chia sẻ trong bài viết này hữu ích cho các kỹ sư ML và AI trong tương lai.

The post Tăng cường Bảo mật cho Amazon SageMaker appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Tham khảo
• Lý do chọn  mô hình Zephyr 3B
• Triển khai Endpoint Inference
• Kiểm tra Inference của Mô hình
• Các Issues
• Giải pháp
• Kết luận

Triển khai mô hình Stable LM Zephyr 3B trên AWS SageMaker là quá trình sử dụng nền tảng Amazon SageMaker để huấn luyện hoặc triển khai mô hình ngôn ngữ lớn (LLM) Stable LM Zephyr 3B. Stable LM Zephyr 3B là một mô hình AI có khả năng xử lý ngôn ngữ tự nhiên, có thể thực hiện nhiều tác vụ như sinh văn bản, phân tích dữ liệu hoặc các ứng dụng AI khác. AWS SageMaker cung cấp cơ sở hạ tầng dễ sử dụng để huấn luyện, đánh giá và triển khai mô hình AI trên quy mô lớn với các tài nguyên tính toán mạnh mẽ.

Tham khảo

• Deploy Stable LM Zephyr 3B Model on SageMaker
• Introducing Stable LM Zephyr 3B: A New Addition to Stable LM, Bringing Powerful LLM Assistants to Edge Devices
• StableLM Zephyr 3B
• Available Deep Learning Containers Images on AWS
• AWS DLC Releases for TGI

Lý do chọn mô hình Zephyr 3B

1. Hiệu quả: Với chỉ 3 tỷ tham số, LLM nhẹ này cân bằng giữa yêu cầu tính toán và hiệu suất.
2. Hiệu suất cạnh tranh: Mặc dù kích thước nhỏ, Zephyr 3B mang lại kết quả mạnh mẽ trong nhiều tác vụ NLP.
3. Cải thiện khả năng tuân theo hướng dẫn: Mô hình được tinh chỉnh bằng Direct Preference Optimization (DPO).
4. Cam kết AI có đạo đức: Được phát hành với trọng tâm về an toàn, độ tin cậy và sự phù hợp.

Triển khai Endpoint Inference

Để triển khai mô hình này, sử dụng một Jupyter Notebook trên một instance SageMaker phù hợp với chi phí bạn lựa chọn thôi (Ví dụ: ml.m5.medium).

import boto3

import sagemaker

from sagemaker import get_execution_role

from sagemaker.model import Model

from sagemaker.predictor import Predictor

# Thiết lập SageMaker session

sagemaker_session = sagemaker.Session()

# Lấy execution role

role = get_execution_role()

hub = {

  'HF_MODEL_ID':'stabilityai/stablelm-zephyr-3b',

  'HF_TASK':'text-generation',

  'HUGGING_FACE_HUB_TOKEN':'<thay bằng token Hugging Face của bạn>'

}

model = Model(

  image_uri='763104351884.dkr.ecr.ap-southeast-1.amazonaws.com/huggingface-pytorch-tgi-inference:2.3.0-tgi2.2.0-gpu-py310-cu121-ubuntu22.04-v2.0',

  role=role,

  sagemaker_session=sagemaker_session,

  env=hub

)

predictor = model.deploy(

  initial_instance_count=1,

  instance_type='ml.m5.medium',

  endpoint_name='zephyr-22',

  container_startup_health_check_timeout=400,

  container_startup_health_check_frequency=200

)

print(f"Endpoint đã được triển khai thành công.")

Kiểm tra Inference của Mô hình

Sau khi triển khai, sử dụng đoạn mã sau để kiểm tra mô hình trên Inference Endpoint:

import boto3

import json

from sagemaker.serializers import JSONSerializer

from sagemaker.deserializers import JSONDeserializer

from sagemaker.predictor import Predictor

from sagemaker.session import Session

boto_session = boto3.Session(region_name='ap-southeast-1')

sagemaker_runtime = boto_session.client('sagemaker-runtime')

sagemaker_session = Session(boto_session=boto_session, sagemaker_client=sagemaker_runtime)

endpoint_name = 'zephyr-22'

predictor = Predictor(

  endpoint_name=endpoint_name,

  sagemaker_session=sagemaker_session,

  serializer=JSONSerializer(),

  deserializer=JSONDeserializer()

)

input_data = {

  "inputs": "Can you please let us know more details about George Washington?",

}

response = predictor.predict(input_data)

print("Phản hồi của Mô hình:")

print(json.dumps(response, indent=2))

Kết quả đầu ra của mô hình:

{

  "generated_text": "Can you please let us know more details about George Washington?\nSure, George Washington was the first President of the United States, serving from 1789 to 1797. He was the commander-in-chief of the Continental Army during the American Revolutionary War. Prior to his presidency, Washington had served as a Virginia state legislator, the First President of the Continental Congress, and as the leader of the Northern Confederacy. He was known for his strong leadership skills, his plain manner, and his commitment to fulfilling the promises of the American Revolution. After"

}

Các Issues

1. Mô hình mới: Stable LM Zephyr 3B được phát hành vào ngày 7/12/2023 và chưa có sẵn trong SageMaker Jumpstart.
2. Vấn đề tương thích phiên bản: Phương pháp triển khai được đề xuất sử dụng HuggingFaceModel không hoạt động do phiên bản không tương thích của thư viện transformers.
3. Lỗi nhận dạng kiến trúc mô hình: Khi thực hiện inference, gặp lỗi:

The checkpoint you are trying to load has model type `stablelm` but Transformers does not recognize this architecture.

Giải pháp

Tìm được container HuggingFace Text Generation Inference (TGI) phiên bản v2.0-hf-tgi-2.2.0-pt-2.3.0-inf-gpu-py310

Đáp ứng tất cả các yêu cầu về phụ thuộc:

• PyTorch 2.3.0
• Python 3.10
• Transformers 4.43.1

Cho nên đã chọn container trên để tiến hành triển khai Inference Endpoint thành công và thực hiện dự đoán với mô hình đã triển khai.

Kết luận

Triển khai mô hình Stable LM Zephyr 3B trên AWS SageMaker đòi hỏi nhiều kinh nghiệm và nghiêm túc trong công việc.

Dưới đây là các bài học nên nhớ:

1. Tầm quan trọng của nghiên cứu kỹ lưỡng: Khi làm việc với mô hình mới, việc hiểu rõ các yêu cầu và hạn chế là rất quan trọng.
2. Linh hoạt trong giải quyết vấn đề: Sẵn sàng thử nghiệm các phương pháp tiếp cận khác nhau khi gặp trở ngại.
3. Tầm quan trọng của phiên bản tương thích: Đảm bảo tương thích giữa mô hình, các thư viện phụ thuộc và môi trường triển khai là chìa khóa để triển khai thành công.

Giá trị của cộng đồng: Tận dụng tài nguyên cộng đồng và tài liệu chính thức có thể giúp vượt qua các thách thức phức tạp.

The post Triển khai mô hình Zephyr 3B trên Amazon SageMaker appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

• Amazon SageMaker JumpStart là gì?

Amazon SageMaker JumpStart là gì?

Amazon SageMaker JumpStart là một tính năng trong Amazon SageMaker giúp đơn giản hóa quá trình tạo ứng dụng Machine Learning vì:

• Có sẵn các mô hình đã đào tạo trước đó, bao gồm các mô hình phổ biến cho quá trình xử lý ngôn ngữ tự nhiên, xử lý hình ảnh, video, …
• Cung cấp các giải pháp hoàn chỉnh cho các tác vụ cụ thể như phân loại hình ảnh, phát hiện đối tượng, hoặc phân tích tình cảm
• Có thể tinh chỉnh(Fine-tune) các mô hình sẵn có bằng dữ liệu của mình
• Cho phép deploy các mô hình nhanh chóng lên các endpoint của SageMaker
• Hoạt động liền mạch với các tính năng khác của sagemaker như đánh giá mô hình, thử nghiệm mô hình.

Nội dung cập nhật

• Amazon Redshift ML giờ đây cho phép sử dụng các LLM đã được đào tạo trước từ SageMaker JumpStart
• Người dùng có thể thực hiện các tác vụ như tóm tắt phản hồi, trích xuất thực thể và phân tích cảm xúc trên dữ liệu trong Redshift
• Cách dùng là:
  • Tạo endpoint sử dụng LLM từ SageMaker JumpStart  → Tạo mô hình Redshift ML tham chiếu đến endpoint → Sử dụng lệnh SQL tiêu chuẩn để gọi endpoint LLM

Kết luận

Vậy là hôm nay tôi đã chia sẻ tính năng cập nhật của Amazon Redshift ML. Hy vọng cung cấp cho các bạn một cái nhìn tổng quan về tính năng mới này.

The post [Cập nhật] Đã tích hợp mô hình ngôn ngữ lớn (LLM) từ Amazon SageMaker JumpStart vào Amazon Redshift ML appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

Amazon SageMaker Feature Store là một kho lưu trữ chuyên dụng để lưu trữ, chia sẻ và quản lý các đặc trưng* (feature) của mô hình học máy (ML). Các đặc trưng là đầu vào của mô hình học máy được sử dụng trong training và inference. 

Ví dụ: Trong một ứng dụng đề xuất danh sách bài hát, các đặc trưng có thể bao gồm đánh giá bài hát, thời gian nghe và đặc điểm của người nghe. Các đặc trưng được sử dụng lặp đi lặp lại bởi nhiều nhóm nên chất lượng của các đặc trưng rất quan trọng để chạy các mô hình chính xác cao. Hơn nữa, sẽ có khó khăn trong việc đồng bộ hóa hai kho lưu trữ đặc trưng để sử dụng trong tranning mô hình offline và real-time inference. Vì vậy, SageMaker Feature Store cung cấp một kho lưu trữ an toàn và thống nhất cho việc xử lý, chuẩn hóa và sử dụng các đặc trưng quy mô lớn trong toàn bộ life cycle học máy.

*Đặc trưng thường có nghĩa là các đặc tính dữ liệu cần thiết cho việc học và suy luận.

Ví dụ: Trong việc dự báo doanh số bán hàng, objective variable là doanh số bán hàng trong quá khứ. Và các tham số dùng để dự báo có thể bao gồm ngày trong tuần, nhiệt độ, sự kiện xung quanh cửa hàng, việc thực hiện bán hàng và chi phí quảng cáo, v.v. Nếu dữ liệu được training với những đặc trưng này, có thể dự báo doanh số cho những ngày tiếp theo. Nói cách khác, đặc trưng có thể được định nghĩa là cách biểu diễn định lượng của các đặc điểm trong tập dữ liệu.

Đặc trưng quan trọng như thế nào?

Trong học máy, nếu không có dữ liệu tốt thì dự báo cũng sẽ kém chính xác. Việc hiểu rõ dữ liệu sẽ xác định ra các đặc trưng. Cần kiểm tra kỹ lưỡng xem dữ liệu nào đang được thu thập và lưu trữ, thu thập dữ liệu vào thời điểm nào và xu hướng nào có thể được thu thập từ dữ liệu đó.

Việc chọn lọc đặc trưng vẫn là một lĩnh vực khó tự động hóa hoàn toàn, và cần có sự xác nhận của các kỹ sư.

Chất lượng của đặc trưng rất quan trọng vì sẽ ảnh hưởng đến chất lượng dự báo sau này.

Đặc điểm nổi bật của Amazon SageMaker Feature Store

Cải thiện chất lượng đặc trưng là một trong những giải pháp nâng cao năng suất ML. 

Các đặc điểm nổi bật của Amazon SageMaker Feature Store là:

Xử lý và tích hợp đặc trưng được thực hiện bằng batch và streaming

Có thể tích hợp dữ liệu từ nhiều nguồn khác nhau như log ứng dụng và dịch vụ, clickstream, cảm biến, hoặc dữ liệu dạng bảng từ Amazon Simple Storage Service (Amazon S3), Amazon Redshift, AWS Lake Formation, Snowflake, Databricks Delta Lake vào SageMaker Feature Store.

Trong quá trình xử lý đặc trưng, nếu chỉ định batch data source và feature conversion function (chẳng hạn như số lượt xem sản phẩm hoặc tổng thời gian mở của cửa sổ ứng dụng), có thể chuyển đổi dữ liệu thu được thành đặc trưng cho học máy.

Metadata và data catalog của đặc trưng

Có thể tìm thấy các đặc trưng, thông qua giao diện trực quan của Amazon SageMaker Studio, nếu sử dụng các tag và nhóm đặc trưng của SageMaker Feature Store.

Có thể tìm thấy các đặc trưng được tái sử dụng từ catalog các đặc trưng (Feature Group Catalog). SageMaker Feature Store mặc định là AWS Glue Data Catalog, nhưng cũng có thể sử dụng catalog khác khi cần.

Tính nhất quán của đặc trưng

SageMaker Feature Store hỗ trợ lưu trữ offline cho training và lưu trữ online cho real-time inference. Để training các mô hình sử dụng toàn bộ tập dữ liệu và mất hàng giờ để hoàn thành, trong khi inference phải diễn ra trong vài mili giây và thường chỉ sử dụng một tập con dữ liệu. Việc sử dụng SageMaker Feature Store đảm bảo dữ liệu offline và online được đồng bộ.

Đặc điểm này rất quan trọng vì nếu có sự khác biệt giữa dữ liệu lưu trữ offline và online, thì kết quả sau đó cũng sẽ bị sai lệch.

Lineage tracking

Để tái sử dụng các đặc trưng, các data scientist cần biết cách xây dựng đặc trưng, sử dụng đặc trưng bằng mô hình và end point nào.

Trong Amazon SageMaker Feature Store, các data scientist có thể sử dụng SageMaker Lineage để theo dõi đặc trưng trong Amazon SageMaker Studio. Việc theo dõi này cho phép kiểm tra code của nguồn dữ liệu và nội dung xử lý dữ liệu, giúp cải thiện độ chính xác khi lựa chọn.

Time travel

SageMaker Feature Store cung cấp Offline API. Truy vấn point-in-time được hỗ trợ, cho phép truy cập dữ liệu trong quá khứ và lấy trạng thái của các đặc trưng trong một khoảng thời gian của quá khứ.

Nội dung cập nhật: Provisioning Capacity Mode

Provisioning Capacity Mode đã được áp dụng trong Amazon SageMaker Feature Store.

Trong bảng cập nhật mới nhất này, Amazon SageMaker Feature Store đã cung cấp thêm tính năng Provisioning capacity mode giúp bạn chỉ định dung lượng ghi và đọc cần thiết khi tạo nhóm tính năng. Ngoài ra, với mục đích tối ưu hóa chi phí, bạn có thể thay đổi giới hạn dung lượng bất cứ lúc nào, chẳng hạn như giảm giới hạn vào ban đêm hoặc cuối tuần.

Để đáp ứng với sự thay đổi trong application traffic pattern, cần cung cấp tùy chọn để chuyển đổi giữa chế độ provisioning và chế độ on demand trong nhóm tính năng.

Bạn có thể thiết lập chế độ tính phí thông qua giao diện người dùng (UI), API hoặc SDK.

Điều kiện sử dụng Provisioning Capacity Mode

Các điều kiện tiên quyết khi bạn sử dụng tính năng provisioning capacity mode:

・Do metadata cấp độ bản ghi có thể khiến bản ghi tiêu thụ thêm đơn vị dung lượng.

・Việc chỉ truy xuất một subset của tính năng khi sử dụng API GetRecord hoặc BatchGetRecord vẫn tiêu tốn RCU cho toàn bộ bản ghi.

Đối với dung lượng ghi, cần cung cấp gấp đôi dung lượng cao nhất gần đây để tránh nghẽn cổ chai khi thực hiện backfill hoặc nhập hàng loạt lượng lớn bản ghi lịch sử. Điều này là do việc ghi các bản ghi lịch sử sẽ tiêu tốn thêm dung lượng ghi. 

Lưu ý: Feature Store không hỗ trợ tự động gia hạn chế độ provisioning.

Cách thiết lập Provisioning Capacity Mode

Chế độ On-demand: ConsumedReadRequestsUnits và ConsumedWriteRequestsUnits

Chế độ provisioning: ConsumedReadCapacityUnits và ConsumedWriteCapacityUnits

Tham khảo: 

【アップデート】Amazon SageMaker 機能ストアでプロビジョニングキャパシティーモードが提供されるようになりました | SunnyCloud

The post Amazon SageMaker Feature Store cung cấp Provisioning Capacity Mode appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.