Embedding Dimension: 384 chiều thực sự có ý nghĩa gì? Trong bài viết trước, chúng ta đã tìm hiểu về Cosine Similarity và cách sử dụng góc giữa hai vector để đo mức độ tương đồng. Khi bắt đầu tìm hiểu Embedding, mình có một thắc mắc: Một embedding model có thể tạo ra vector 384 chiều, 768 chiều hay thậm chí 1024 chiều. Vậy những chiều này thực sự biểu diễn điều gì? Và liệu hai vector có thể vuông góc với nhau trong không gian hàng trăm chiều hay không? Để trả lời câu hỏi này, chúng ta sẽ đi từ hình học 2D, 3D đến không gian nhiều chiều và thử nghiệm trực tiếp bằng C#. 1. Embedding Dimension là gì? Embedding là quá trình chuyển đổi dữ liệu như văn bản thành một vector số. Vector này được sử dụng để biểu diễn thông tin mà mô hình đã học được. Mỗi phần tử trong vector tương ứng với một tọa độ trong không gian biểu diễn. Không gian 2 chiều (2D) Một vector có hai tọa độ: double[] vector = [2, 3]; Chúng ta có thể biểu diễn vector này trên hệ trục X và Y. Không gian 3 ...
Ở các bài trước, chúng ta đã lần lượt xây dựng Agent, làm việc với Structured Outputs, Persistent Sessions, Streaming Responses và Context Compaction. Nhưng hãy thử một tình huống thực tế: trong Conversation thứ nhất, người dùng chia sẻ sở thích và môi trường phát triển. Sau đó, người dùng kết thúc cuộc hội thoại, mở một Conversation mới và tiếp tục đặt câu hỏi. Nếu Agent không có cơ chế ghi nhớ dài hạn, người dùng phải nhắc lại những thông tin đã cung cấp trước đó. Đây là vấn đề mà Long-term Memory giải quyết: giúp Agent lưu trữ và truy xuất những thông tin liên quan từ các Conversation trước đó. 1. Long-term Memory là gì? Long-term Memory là cơ chế giúp Agent giữ lại những thông tin có giá trị qua nhiều phiên làm việc, thay vì chỉ ghi nhớ nội dung trong Conversation hiện tại. Ví dụ, Agent có thể ghi nhớ: Người dùng thích sử dụng ngôn ngữ nào. Người dùng đang làm việc với công nghệ nào. Những chủ đề đã trao đổi trước đây. Những quyết định hoặc thông tin quan trọng từ các cu...