• Giới Thiệu Tổng Quan
• Những Tính Năng Nổi Bật
  • 1. Công Nghệ Suy Luận Lai (Hybrid Reasoning)
    • Hai Chế Độ Hoạt Động:
  • 2. Khả Năng Lập Trình Vượt Trội
  • 3. Khả Năng Xử Lý Văn Bản Dài
  • 4. Ngân Sách Suy Luận Linh Hoạt
• Ứng Dụng Thực Tế
  • Cách Triển Khai Trên Amazon Bedrock
• Ứng Dụng Trong Các Ngành
• Khả Năng Truy Cập và Giá Cả
• Kết Luận

Anthropic đã chính thức ra mắt Claude 3.7 Sonnet trên nền tảng Amazon Bedrock, cùng công nghệ mới gọi là AI với khả năng suy luận lai (hybrid reasoning).
Chi tiết bài viết ở đây
https://aws.amazon.com/about-aws/whats-new/2025/02/anthropics-claude-3-7-sonnet-amazon-bedrock/

Giới Thiệu Tổng Quan

Claude 3.7 Sonnet được xem là mô hình AI thông minh nhất của Anthropic cho đến thời điểm hiện tại. Điểm đặc biệt của phiên bản này là khả năng tích hợp suy luận như một tính năng cốt lõi trong một mô hình duy nhất, thay vì sử dụng các mô hình riêng biệt cho các tác vụ khác nhau.

Những Tính Năng Nổi Bật

1. Công Nghệ Suy Luận Lai (Hybrid Reasoning)

Claude 3.7 Sonnet giới thiệu một cách tiếp cận mới về cách thức suy nghĩ của mô hình AI. Thay vì sử dụng các mô hình tách biệt – một cho câu trả lời nhanh và một cho việc giải quyết các vấn đề phức tạp – Claude 3.7 Sonnet tích hợp khả năng suy luận như một phần không thể tách rời trong một mô hình duy nhất.

Hai Chế Độ Hoạt Động:

• Chế độ tiêu chuẩn: Một phiên bản cải tiến của Claude 3.5 Sonnet
• Chế độ suy nghĩ mở rộng: Phân tích sâu hơn, lập kế hoạch giải pháp và xem xét nhiều góc độ trước khi đưa ra câu trả lời

2. Khả Năng Lập Trình Vượt Trội

Claude 3.7 Sonnet đạt được thành tích ấn tượng trong lĩnh vực lập trình:

• Đạt 70.3% trên bộ benchmark SWE-bench Verified ở chế độ tiêu chuẩn
• Hiệu suất vượt trội so với Claude 3.5 Sonnet trong hầu hết các benchmark

3. Khả Năng Xử Lý Văn Bản Dài

So với người tiền nhiệm, Claude 3.7 Sonnet có khả năng xử lý văn bản dài hơn gấp 15 lần:

• Hỗ trợ đầu ra lên đến 64K tokens (phiên bản GA)
• Phiên bản beta có thể xử lý đến 128K tokens

4. Ngân Sách Suy Luận Linh Hoạt

Người dùng có thể điều chỉnh ngân sách cho quá trình suy nghĩ của mô hình:

• Tối ưu hóa giữa tốc độ, chi phí và hiệu suất
• Phân bổ nhiều tokens hơn cho các vấn đề phức tạp
• Giới hạn tokens cho các phản hồi nhanh

Ứng Dụng Thực Tế

Cách Triển Khai Trên Amazon Bedrock

1. Yêu Cầu Truy Cập:

# Sử dụng AWS SDK để truy cập Claude 3.7 Sonnet

import boto3

bedrock = boto3.client('bedrock')

response = bedrock.invoke_model(

    modelId='anthropic.claude-3-7-sonnet',

    body={

        'prompt': 'Your prompt here',

        'max_tokens': 1000,

        'temperature': 0.7,

        'thinking_mode': 'extended'  # hoặc 'standard'

    }

)

2. Nếu xem bằng console:

Ứng Dụng Trong Các Ngành

1. Doanh Nghiệp:
   
   • Tạo trợ lý AI tương tác trực tiếp với khách hàng
   • Phân tích dữ liệu kinh doanh phức tạp
2. Y Tế:
   
   • Phân tích hình ảnh y tế
   • Tổng hợp nghiên cứu y khoa
3. Tài Chính:
   
   • Mô hình hóa tài chính phức tạp
   • Phân tích rủi ro và xu hướng thị trường
4. Phát Triển Phần Mềm:
   
   • Review code
   • Giải thích khái niệm kỹ thuật
   • Đề xuất cải tiến cho nhiều ngôn ngữ lập trình

Khả Năng Truy Cập và Giá Cả

• Khu vực: Hiện có sẵn tại US East (N. Virginia), US East (Ohio), và US West (Oregon)
• Giá cả: Tương đương với Claude 3.5 Sonnet
• Tích hợp: Có thể truy cập thông qua AWS SDK và Amazon Bedrock API

Kết Luận

Claude 3.7 Sonnet đánh dấu một bước tiến quan trọng trong việc phát triển AI có khả năng suy luận tự nhiên hơn. Hy vọng bài viết này giúp ích cho các bạn trong công việc thực tế.
Cảm ơn các bạn rất nhiều đã đọc đến cuối bài viết!

The post Claude 3.7 Sonnet: Công Nghệ AI Hybrid Reasoning appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.

LangChain là gì?

• Là framework library phát triển ứng dụng sử dụng Large Language Model (LLM)
• Các tính năng như model/memory/agent/retiriever được trừu tượng hóa, do đó có thể phát triển và tạo ra output hiệu quả mà không cần code quá nhiều

Để tạo ứng dụng LLM, không chỉ vài lựa chọn đơn giản mà cần phải xử lý nhiều workflow. Nếu muốn tạo các ứng dụng để trả lời vấn đề chuyên môn khi không có kiến thức về LLM hoặc muốn trả lời theo định dạng mong muốn thì có thể sử dụng LangChain.

LangChain có thể được sử dụng với các ngôn ngữ lập trình như Python, JavaScript, TypeScript. Bản Python cho phép sử dụng tất cả các tính năng của LangChain, do đó nên sử dụng Python.

Các module của LangChain

Models: Kết hợp các model khác nhau

Models là tính năng cho phép sử dụng kết hợp nhiều model khác nhau.

LangChain cho phép kết hợp nhiều model khác nhau như LLM, model chat, model nhúng văn bản.

Sử dụng các mô hình tích hợp trong LangChain giúp giảm bớt công sức viết code.

Prompts

Prompts dùng để nhập các input. Prompt trong LangChain được tích hợp các tính năng như quản lý, tối ưu hóa, và serial hóa, giúp giảm bớt việc viết code.

Ngoài ra, khi phát triển với nhóm nhiều người, có thể chuẩn hoá cách mô tả.

Indexes

Indexes là tính năng kết hợp document hiện có và LLM. Có thể tạo ra các câu trả lời dựa trên data ngoài như PDF, Excel, CSV, v.v.

Thông thường, cần dùng prompt dưới dạng văn bản. Có thể mở rộng tính năng bằng cách dùng LangChain kết hợp data ngoài để gửi chỉ thị hiệu quả hơn.

Chains

Chains cho phép thực hiện nhiều prompt và thực hiện một loạt hành động một cách trơn tru.

Trong model ngôn ngữ thông thường, AI sẽ xuất ra câu trả lời dựa trên prompt người dùng đã nhập.

Sử dụng tính năng Chains, khi cần tóm tắt văn bản có số lượng kí tự lớn, đầu tiên bạn có thể chia văn bản gốc thành nhiều phần và tóm tắt từng phần, sau đó sử dụng tóm tắt của từng phần làm đầu vào để xuất ra tóm tắt tổng thể.

Sử dụng nhiều prompt để nhận được câu trả lời chính xác hơn.

Retrieval

Tính năng này tạo ra câu trả lời sử dụng dữ liệu ngoài như PDF, CSV, v.v. mà LLM chưa học hoặc không thể học.

Agents

Kết hợp các prompt với công cụ để thực hiện action và kết hợp kết quả thành câu trả lời.

Bạn có thể kết hợp các công cụ tìm kiếm để thu thập thông tin và Python code để tạo biểu đồ.

Khi muốn bổ sung thông tin mới nhất vào câu trả lời, bạn có thể sử dụng công cụ tìm kiếm như Google hoặc Bing để thu thập thông tin và đưa thông tin đó vào câu trả lời.

Memory

Memory là tính năng lưu trữ trạng thái (state). Bạn có thể tái sử dụng dữ liệu được lưu trữ  trong Memory. Memory có hai loại: bộ nhớ ngắn hạn và bộ nhớ dài hạn.

Bộ nhớ ngắn hạn lưu giữ dữ liệu trong một lần tương tác. Nó được sử dụng để xử lý tóm tắt văn bản đã nhập.

Bộ nhớ dài hạn lưu giữ dữ liệu qua nhiều lần tương tác. Nó cập nhật bộ nhớ dựa trên thông tin thu được trong quá trình tương tác với người dùng và phản ánh thông tin đó trong các tương tác sau.

Building with Amazon Bedrock and LangChain

Đây là workshop do AWS tổ chức, hiện chỉ có phiên bản tiếng Anh. Do đó, các prompt trong workshop đều sử dụng tiếng Anh.

Workshop được sử dụng ở region us-west-2 (Oregon) hoặc us-east-1 (N. Virginia). Nếu bạn muốn sử dụng prompt tiếng Nhật, hãy sử dụng Claude của Anthropic làm model cơ sở.

Sử dụng Claude

Khi tham gia workshop, bạn sẽ chọn được model phù hợp. 

Chỉnh sửa file bedrock_langchain.py trong thư mục workshop/labs/langchain.

Ở đây, chỉ định import Amazon Bedrock để tạo ra một Bedrock client. Sử dụng client này, bạn có thể thực hiện các lệnh gọi LangChain tiêu chuẩn và tự động hoạt động với model của Bedrock.

import os
from langchain.llms.bedrock import Bedrock

Sau đó, chúng ta chỉ định Claude.

llm = Bedrock( #create a Bedrock llm client
credentials_profile_name=os.environ.get("BWB_PROFILE_NAME"), #sets the profile name to use for AWS credentials (if not the default)
region_name=os.environ.get("BWB_REGION_NAME"), #sets the region name (if not the default)
endpoint_url=os.environ.get("BWB_ENDPOINT_URL"), #sets the endpoint URL (if necessary)
model_id="ai21.j2-ultra-v1" #set the foundation model
)

Theo mặc định, model_id là [ai21.j2-ultra-v1], nghĩa là model Jurassic-2 của công ty AI21 Labs được chỉ định.

Đối với Claude2.0, thay đổi model_id thành [anthropic.claude-v2], và đối với Claude2.1, thay đổi model_id thành [anthropic.claude-v2.1].

llm = Bedrock( #create a Bedrock llm client
credentials_profile_name=os.environ.get("BWB_PROFILE_NAME"), #sets the profile name to use for AWS credentials (if not the default)
region_name=os.environ.get("BWB_REGION_NAME"), #sets the region name (if not the default)
endpoint_url=os.environ.get("BWB_ENDPOINT_URL"), #sets the endpoint URL (if necessary)
model_id="anthropic.claude-v2.1" #set the foundation model
)

Thực hiện lệnh gọi bằng hàm predict của LangChains. Ngoài ra, Bedrock client sẽ tự động trả về phản hồi dưới dạng text.

response_text = llm.predict(prompt) #return a response to the prompt

Tại đây, bạn đã có thể sử dụng Claude2.1 với LangChain.

LangChain là một library mở rộng có thể sử dụng các plugin bên ngoài theo yêu cầu.

Tham khảo: ハンズオン：Building with Amazon Bedrock and LangChainでClaudeを使ってみよう | SunnyCloud

The post Cách sử dụng Claude trong Amazon Bedrock và LangChain appeared first on Sunny Cloud | AWS Billing và giải pháp AWS toàn diện.