Chuyển đến nội dung chính

Bài đăng

Embedding với .NET 10: Tạo vector từ văn bản bằng ONNX Runtime và Tokenizers

Embedding Dimension: 384 chiều thực sự có ý nghĩa gì? Trong bài viết trước, chúng ta đã tìm hiểu về Cosine Similarity và cách sử dụng góc giữa hai vector để đo mức độ tương đồng. Khi bắt đầu tìm hiểu Embedding, mình có một thắc mắc: Một embedding model có thể tạo ra vector 384 chiều, 768 chiều hay thậm chí 1024 chiều. Vậy những chiều này thực sự biểu diễn điều gì? Và liệu hai vector có thể vuông góc với nhau trong không gian hàng trăm chiều hay không? Để trả lời câu hỏi này, chúng ta sẽ đi từ hình học 2D, 3D đến không gian nhiều chiều và thử nghiệm trực tiếp bằng C#. 1. Embedding Dimension là gì? Embedding là quá trình chuyển đổi dữ liệu như văn bản thành một vector số. Vector này được sử dụng để biểu diễn thông tin mà mô hình đã học được. Mỗi phần tử trong vector tương ứng với một tọa độ trong không gian biểu diễn. Không gian 2 chiều (2D) Một vector có hai tọa độ: double[] vector = [2, 3]; Chúng ta có thể biểu diễn vector này trên hệ trục X và Y. Không gian 3 ...
Các bài đăng gần đây

Microsoft Agent Framework: Long-term Memory – Day 7

Ở các bài trước, chúng ta đã lần lượt xây dựng Agent, làm việc với Structured Outputs, Persistent Sessions, Streaming Responses và Context Compaction. Nhưng hãy thử một tình huống thực tế: trong Conversation thứ nhất, người dùng chia sẻ sở thích và môi trường phát triển. Sau đó, người dùng kết thúc cuộc hội thoại, mở một Conversation mới và tiếp tục đặt câu hỏi. Nếu Agent không có cơ chế ghi nhớ dài hạn, người dùng phải nhắc lại những thông tin đã cung cấp trước đó. Đây là vấn đề mà Long-term Memory giải quyết: giúp Agent lưu trữ và truy xuất những thông tin liên quan từ các Conversation trước đó. 1. Long-term Memory là gì? Long-term Memory là cơ chế giúp Agent giữ lại những thông tin có giá trị qua nhiều phiên làm việc, thay vì chỉ ghi nhớ nội dung trong Conversation hiện tại. Ví dụ, Agent có thể ghi nhớ: Người dùng thích sử dụng ngôn ngữ nào. Người dùng đang làm việc với công nghệ nào. Những chủ đề đã trao đổi trước đây. Những quyết định hoặc thông tin quan trọng từ các cu...

Microsoft Agent Framework: Context Compaction - Day 6

Ở Day 5, chúng ta đã tìm hiểu Streaming Responses trong Microsoft Agent Framework (MAF), sử dụng RunStreamingAsync() để nhận và hiển thị nội dung từng phần khi Agent đang tạo câu trả lời. Chúng ta cũng đã kết hợp Streaming với Persistent Sessions từ Day 4, cho phép lưu và khôi phục trạng thái hội thoại bằng SQL Server. Tuy nhiên, khi một cuộc hội thoại kéo dài, chúng ta sẽ gặp một vấn đề khác. Hãy tưởng tượng người dùng đã trao đổi với History Assistant qua hàng trăm lượt: Ban đầu, người dùng muốn tìm hiểu về Chiến tranh thế giới thứ hai. Sau đó, họ hỏi về nguyên nhân Đức Quốc xã trỗi dậy. Tiếp theo, họ tìm hiểu về các sự kiện tại châu Âu. Cuối cùng, họ muốn so sánh các sự kiện lịch sử và yêu cầu Agent tổng hợp lại. Mỗi lượt hội thoại mới có thể khiến lượng nội dung cần gửi đến AI Model ngày càng lớn. Điều này dẫn đến ba vấn đề: Context Window: Hội thoại có thể vượt quá giới hạn context của model. Cost: Số lượng input tokens tăng khiến ch...

Microsoft Agent Framework: Streaming Responses with History Assistant - Day 5

Ở Day 4, chúng ta đã giải quyết một vấn đề quan trọng khi xây dựng ứng dụng AI: làm thế nào để lưu và khôi phục trạng thái hội thoại khi ứng dụng khởi động lại. Chúng ta đã sử dụng SQL Server để lưu trữ Agent Session, đồng thời sử dụng ConversationId để định danh từng cuộc trò chuyện. Tuy nhiên, vẫn còn một vấn đề về trải nghiệm người dùng. Hãy tưởng tượng người dùng đặt một câu hỏi cần câu trả lời dài: Explain why World War II started. Include the major events in chronological order. Với cách gọi RunAsync() , ứng dụng phải chờ Agent hoàn thành toàn bộ câu trả lời rồi mới hiển thị kết quả. Trong thời gian đó, người dùng không biết Agent đang xử lý hay đã gặp sự cố. Trong Day 5, chúng ta sẽ tìm hiểu Streaming Responses trong Microsoft Agent Framework (MAF), cho phép ứng dụng nhận và hiển thị nội dung từng phần khi Agent đang tạo câu trả lời. Để minh họa, chúng ta sẽ chuyển từ Order Assistant của các bài trước sang một ví dụ mới: History Assistant – trợ lý giúp người...

Microsoft Agent Framework: Persistent Sessions & Memory - Day 4

Trong Day 1, chúng ta đã tạo AI Agent và thực hiện một cuộc hội thoại đơn giản. Trong Day 2, chúng ta mở rộng Order Assistant bằng Function Calling để Agent có thể truy vấn thông tin đơn hàng. Trong Day 3, chúng ta tìm hiểu Structured Outputs để nhận kết quả có cấu trúc thay vì chỉ nhận một đoạn văn bản tự do. Tuy nhiên, có một vấn đề chưa được giải quyết: Nếu người dùng đóng ứng dụng rồi mở lại vào ngày hôm sau, Agent có còn nhớ cuộc hội thoại trước đó không? Ví dụ: Người dùng hỏi: What is the status of order ORD-001? Agent trả lời: Order ORD-001 has been shipped. Người dùng hỏi tiếp: When will it arrive? Ở lần hỏi thứ hai, Agent cần hiểu it đang đề cập đến đơn hàng ORD-001. Nếu mỗi lần gọi Agent đều tạo một session mới, Agent sẽ không có lịch sử hội thoại trước đó để hiểu ngữ cảnh. Đây là lúc chúng ta cần tìm hiểu Persistent Sessions . 1. Mục tiêu bài học Sau bài này, chúng ta sẽ hiểu: AgentSession dùng để làm gì? Sự khác nhau giữa Conversation History, ...