Mục lục bài viết

Tính năng Guardrails cho Amazon Bedrock là gì?

Guardrails là một công cụ giúp kiểm soát và định hướng đầu ra của các mô hình AI được triển khai trên nền tảng Amazon Bedrock. Nó là 1 dạng của AI có trách nhiệm và có thể:

  • Cho phép các tổ chức đặt ra các quy tắc và giới hạn về nội dung mà các mô hình AI tạo ra.
  • Có các nguyên tắc để từ chối ngôn ngữ không phù hợp, thông tin nhạy cảm, các thông tin xâm hại tình dục, thông tin phân biệt tôn giáo, phân biệt chủng tộc.
  • Đảm bảo đầu ra của ứng dụng AI tuân thủ các đạo luật và tiêu chuẩn chung của các quốc gia.
  • Giảm thiểu được các rủi ro trong quá trình sử dụng AI như can thiệp bầu cử, chế tạo thuốc nổ, thuốc độc, đặc biệt sử dụng AI trong giáo dục học đường.

Nội dung cập nhật

  • Thêm kiểm tra mô hình theo ngữ cảnh (contextual grounding checks) nghĩa là:
    • Phát hiện được sai sót trong kết quả trả về của mô hình ứng dụng RAG (Kỹ thuật truy xuất tăng cường)
    • Cấu hình được ngưỡng đáng tin cậy trong kết quả trả về của mô hình
    • Lọc được kết quả có độ tin cậy thấp
  • Thêm API ApplyGuardrail có chức năng:
    • Hỗ trợ đánh giá đầu vào của người dùng và phản hồi của mô hình cho bất kỳ FM tùy chỉnh và của bên thứ ba nào
    • Cho phép tập trung hóa bảo mật và quản trị cho tất cả ứng dụng AI tạo sinh
  • Cụ thể thêm hai phần chính
    • Grounding: Đảm bảo độ chính xác dựa trên nguồn tham khảo
    • Relevance: Đảm bảo tính liên quan với truy vấn của người dùng

Các Region hỗ trợ Guardrails

Tất cả các region nơi tính năng Guardrails cho Amazon Bedrock có hỗ trợ

Thử nghiệm thực tế

  1. Tôi tạo 1 guardrail
  1. Sau đó đi tới phần Grounding, Relevance
  1. Tiếp theo, chọn Next
  1. Tôi muốn kiểm tra tính năng Contextual grounding check với một nguồn thông tin về phí ngân hàng. Nguồn thông tin bao gồm các chi tiết về phí liên quan đến tài khoản và các giao dịch khác

Tôi dùng câu hỏi “What are the fees associated with a checking account?” nhấn Run

Mục đích để xem xét cách hệ thống phản hồi dựa trên thông tin nguồn đã cho. Đánh giá tính năng Contextual grounding check liên quan đến Grounding và Relevance

  1. Tôi thấy kết quả:

Kết quả này cho thấy tính năng Contextual grounding check hoạt động hiệu quả trong việc đảm bảo chất lượng và độ tin cậy của phản hồi AI, đồng thời cho phép những phản hồi đáp ứng tiêu chuẩn được truyền đến người dùng.

  1. Tiếp theo tôi thử câu “What is the  yearly fee associated with a credit card?”

Điều này chứng tỏ, khi hỏi không đúng dữ liệu nguồn thì Grounding sẽ chặn những câu hỏi này

  1. Tiếp theo tôi thử câu “What are 10%  the transaction charges for a checking account?”

Câu hỏi của tôi bị đánh giá là không liên quan

Cho nên bị chặn bởi tính năng Relevance

Kết luận

Tính năng Contextual grounding check hoạt động để đảm bảo rằng phản hồi không chỉ chính xác về mặt thông tin mà còn phải liên quan đến câu hỏi của người dùng.