Mục lục bài viết

Giới thiệu

Amazon Bedrock giờ đây cung cấp hỗ trợ CloudWatch metrics toàn diện cho Agents, cho phép các nhà phát triển giám sát, khắc phục sự cố và tối ưu hóa ứng dụng tác nhân AI với khả năng quan sát tốt hơn!

Khả năng mới này cung cấp runtime metrics chi tiết cho cả hoạt động InvokeAgent và InvokeInlineAgent, bao gồm số lần gọi, đo độ trễ, sử dụng token và tỷ lệ lỗi – giúp khách hàng hiểu rõ hơn về hiệu suất tác nhân trong môi trường sản xuất.

https://aws.amazon.com/about-aws/whats-new/2025/05/amazon-bedrock-agents-metrics-cloudwatch

Tại sao CloudWatch Metrics quan trọng?

Với tích hợp CloudWatch metrics, các nhà phát triển có thể:

  • Theo dõi chỉ số hiệu suất quan trọng như thời gian xử lý tổng, thời gian đến token đầu tiên (TTFT)
  • Xác định điểm nghẽn và phát hiện bất thường
  • Đưa ra quyết định dựa trên dữ liệu để cải thiện hiệu quả tác nhân
  • Thiết lập cảnh báo CloudWatch để nhận thông báo khi metrics vượt ngưỡng
  • Quản lý chủ động các triển khai tác nhân

Tổng quan về Runtime Metrics

Các metrics chính được cung cấp:

Amazon Bedrock Agents cung cấp các runtime metrics sau đây qua CloudWatch:

Runtime metrics

Tên MetricĐơn vịMô tả
InvocationCountSampleCountSố yêu cầu đến hoạt động API
TotalTimeMillisecondsThời gian máy chủ xử lý yêu cầu
TTFTMillisecondsMetric thời gian đến token đầu tiên. Được phát ra khi cấu hình Streaming được bật cho yêu cầu invokeAgent hoặc invokeInlineAgent
InvocationThrottlesSampleCountSố lần gọi bị hệ thống điều tiết. Các yêu cầu bị điều tiết và lỗi gọi khác không được tính vào Invocations hoặc Errors
InvocationServerErrorsSampleCountSố lần gọi dẫn đến lỗi phía máy chủ AWS
InvocationClientErrorsSampleCountSố lần gọi dẫn đến lỗi phía khách hàng
ModelLatencyMillisecondsĐộ trễ của mô hình
ModelInvocationCountSampleCountSố yêu cầu mà tác nhân thực hiện đến mô hình
ModelInvocationThrottlesSampleCountSố lần gọi mô hình bị lõi Amazon Bedrock điều tiết. Các yêu cầu bị điều tiết và lỗi gọi khác không được tính vào Invocations hoặc Errors
ModelInvocationClientErrorsSampleCountSố lần gọi mô hình dẫn đến lỗi phía khách hàng
ModelInvocationServerErrorsSampleCountSố lần gọi mô hình dẫn đến lỗi phía máy chủ AWS
InputTokenCountSampleCountSố token đầu vào cho mô hình
outputTokenCountSampleCountSố token đầu ra từ mô hình

Dimension

Dimension nameDimension valuesAvailable for the following metrics
OperationInvokeAgent, InvokeInlineAgentInvocationCount, TotalTime, TTFT, InvocationThrottles, InvocationServerErrors, InvocationClientErrors, ModelLatency, ModelInvocationCount, ModelInvocationThrottles, ModelInvocationCLientErrors, ModelInvocationServerErrors, InputTokenCount, OutputTokenCount
Operation, ModelIdAny Amazon Bedrock agent operation listed in the Operation dimension and the modelId of any Amazon Bedrock core modelTotalTime, ModelLatency, ModelInvocationCount, ModelInvocationThrottles, ModelInvocationCLientErrors, ModelInvocationServerErrors, InputTokenCount, OutputTokenCount
Operation, AgentAliasArn, ModelIdAny Amazon Bedrock agent operation listed in the Operation dimension and any modelId of an Amazon Bedrock model, grouped by the agentAliasArn of an agent aliasInvocationCount, TotalTime, TTFT, InvocationThrottles, InvocationServerErrors, InvocationClientErrors, ModelLatency, ModelInvocationCount, ModelInvocationThrottles, ModelInvocationCLientErrors, ModelInvocationServerErrors, InputTokenCount, OutputTokenCount

Để CloudWatch có thể nhận metrics từ Bedrock Agents, IAM service role cần có policy sau:

{

    "Version": "2012-10-17",

    "Statement": {

        "Effect": "Allow",

        "Resource": "*",

        "Action": "cloudwatch:PutMetricData",

        "Condition": {

            "StringEquals": {

                "cloudwatch:namespace":   "AWS/Bedrock/Agents"

            }

        }

    }

}

Kết Luận

Trong kỷ nguyên AI hiện tại, rất nhiều ứng dụng dùng Bedrock để phát triển cho nên việc công bố các metrics dùng giám sát Amazon Bedrock Agents đánh dấu bước tiến trong khả năng monitor hệ thống.

Hy vọng bài viết có ích và cảm ơn đã đọc đến cuối bài viết!