Chuyển đến nội dung chính

Microsoft Agent Framework: Context Compaction - Day 6

Ở Day 5, chúng ta đã tìm hiểu Streaming Responses trong Microsoft Agent Framework (MAF), sử dụng RunStreamingAsync() để nhận và hiển thị nội dung từng phần khi Agent đang tạo câu trả lời.

Chúng ta cũng đã kết hợp Streaming với Persistent Sessions từ Day 4, cho phép lưu và khôi phục trạng thái hội thoại bằng SQL Server.

Tuy nhiên, khi một cuộc hội thoại kéo dài, chúng ta sẽ gặp một vấn đề khác.

Hãy tưởng tượng người dùng đã trao đổi với History Assistant qua hàng trăm lượt:

  • Ban đầu, người dùng muốn tìm hiểu về Chiến tranh thế giới thứ hai.
  • Sau đó, họ hỏi về nguyên nhân Đức Quốc xã trỗi dậy.
  • Tiếp theo, họ tìm hiểu về các sự kiện tại châu Âu.
  • Cuối cùng, họ muốn so sánh các sự kiện lịch sử và yêu cầu Agent tổng hợp lại.

Mỗi lượt hội thoại mới có thể khiến lượng nội dung cần gửi đến AI Model ngày càng lớn.

Điều này dẫn đến ba vấn đề:

  • Context Window: Hội thoại có thể vượt quá giới hạn context của model.
  • Cost: Số lượng input tokens tăng khiến chi phí xử lý tăng.
  • Latency: Model cần xử lý nhiều dữ liệu hơn, có thể làm tăng thời gian phản hồi.

Vậy làm thế nào để Agent tiếp tục duy trì ngữ cảnh quan trọng mà không phải gửi toàn bộ lịch sử hội thoại trong mỗi lần gọi model?

Trong Day 6, chúng ta sẽ tìm hiểu Context Compaction trong Microsoft Agent Framework.

1. Context Window và Token là gì?

1.1. Token

Token là đơn vị mà AI Model sử dụng để xử lý văn bản.

Một token có thể là một từ, một phần của từ, dấu câu hoặc một đơn vị ký tự. Vì vậy, số lượng token không hoàn toàn tương đương với số lượng từ trong câu.

Ví dụ:

User: Explain why World War II started.

Assistant: World War II started due to several
political, economic, and military factors...

Cả câu hỏi và câu trả lời đều tiêu thụ token khi được đưa vào model.

Ngoài nội dung hội thoại, token còn có thể được sử dụng bởi:

  • System Instructions.
  • Conversation History.
  • Tool Definitions.
  • Tool Results.
  • Current User Message.

1.2. Context Window

Context Window là giới hạn lượng thông tin mà model có thể xử lý trong một request.

Hãy hình dung Context Window giống như dung lượng của một chiếc hộp. Mọi thông tin cần thiết cho một lần xử lý phải nằm trong giới hạn của chiếc hộp đó.

flowchart TB A["Model Context Window"] A --> B["System Instructions"] A --> C["Conversation History"] A --> D["Current User Message"] A --> E["Tool Definitions & Results"] A --> F["Reserved Output Tokens"]

Khi conversation ngày càng dài, phần lịch sử hội thoại có thể chiếm phần lớn dung lượng context.

Điều quan trọng là Context Window không chỉ chứa nội dung mà người dùng nhìn thấy trên giao diện chat. Nó còn bao gồm những thông tin phục vụ quá trình xử lý của Agent.

2. Vì sao Conversation dài gây vấn đề?

Trong Day 4, chúng ta đã xây dựng Persistent Sessions để lưu trạng thái hội thoại.

Ví dụ, khi sử dụng cùng một AgentSession:

await agent.RunAsync(
    "My name is Alex.",
    session);

await agent.RunAsync(
    "I am learning about World War II.",
    session);

await agent.RunAsync(
    "What do you know about my interests?",
    session);

Agent có thể sử dụng những message trước đó để hiểu ngữ cảnh của câu hỏi hiện tại.

Tuy nhiên, nếu người dùng tiếp tục trao đổi qua hàng trăm lượt, lịch sử hội thoại sẽ ngày càng lớn.

Vấn đề không nằm ở việc lưu trữ session. SQL Server vẫn có thể lưu một lượng lớn dữ liệu.

Vấn đề nằm ở lượng dữ liệu cần đưa vào model khi thực hiện mỗi request.

flowchart TB A["Conversation History"] A --> B["Turn 1"] A --> C["Turn 2"] A --> D["Turn 3"] A --> E["..."] A --> F["Turn 100"] B --> G["Growing Context"] C --> G D --> G E --> G F --> G G --> H["Send Context to Model"]

Nếu không có cơ chế quản lý context, Agent có thể phải xử lý một lượng lớn lịch sử hội thoại trong những request tiếp theo.

Chúng ta cần một cơ chế để giữ lại những thông tin quan trọng và giảm bớt những nội dung không còn cần thiết.

3. Context Compaction là gì?

Context Compaction là quá trình giảm kích thước conversation context bằng cách loại bỏ, rút gọn hoặc tổng hợp những phần nội dung cũ, đồng thời cố gắng giữ lại thông tin quan trọng.

Ví dụ, ban đầu conversation có những message sau:

User: I am learning about World War II.

Assistant: World War II was a global conflict
from 1939 to 1945.

User: I am particularly interested in
the European theater.

Assistant: The European theater involved
Germany, the Soviet Union, Britain,
France and other countries.

User: Please explain events chronologically.

Assistant: Here is a timeline...

Sau khi thực hiện Summarization, những nội dung cũ có thể được thay thế bằng một summary message:

Conversation Summary:

- The user is learning about World War II.
- The user is particularly interested in
  the European theater.
- The user prefers chronological explanations.
- The discussion has covered the period
  from 1939 to 1945.

Thay vì giữ nguyên tất cả những message cũ trong context gửi đến model, Agent có thể sử dụng bản tóm tắt cùng với những lượt hội thoại gần nhất.

3.1. Compaction không đồng nghĩa với xóa toàn bộ lịch sử

Đây là điểm rất quan trọng cần phân biệt.

Khái niệm Vai trò
Conversation History Lịch sử trao đổi giữa User và Agent.
Agent Session Trạng thái hội thoại được MAF quản lý.
Context Thông tin được cung cấp cho model trong một lần xử lý.
Context Compaction Giảm kích thước context nhưng cố gắng giữ lại thông tin cần thiết.

Trong Day 6, chúng ta sẽ sử dụng CompactionProvider trên ChatClientBuilder. Với cách đăng ký này, MAF chỉ rút gọn nội dung được gửi đến model trong quá trình xử lý request. Conversation history gốc vẫn được giữ nguyên bởi history provider.

4. Các chiến lược Compaction trong MAF

MAF cung cấp nhiều chiến lược để quản lý conversation history. Trong đó, chúng ta sẽ tập trung vào hai chiến lược được sử dụng trực tiếp trong implementation của History Assistant.

4.1. SummarizationCompactionStrategy

Đây là chiến lược sử dụng LLM để tổng hợp những phần hội thoại cũ thành một summary message.

Ví dụ:

Original Conversation:

User: I prefer explanations with examples.

Assistant: Understood.

User: I am learning about World War II.

Assistant: Here is an introduction...

User: Focus on the European theater.

Assistant: The European theater...

After Compaction:

Summary:
- User prefers explanations with examples.
- User is learning about World War II.
- Main interest: European theater.

Đặc điểm:

  • Sử dụng một LLM để tạo summary.
  • Có thể giữ lại thông tin quan trọng từ những lượt hội thoại cũ.
  • Cần thêm một lần gọi model để tạo summary.
  • Chất lượng summary phụ thuộc vào model và summarization prompt.

Trong production, có thể sử dụng một model nhỏ hơn và nhanh hơn để thực hiện summarization nhằm giảm chi phí.

4.2. SlidingWindowCompactionStrategy

Sliding Window giữ lại một số lượt hội thoại gần nhất và loại bỏ những lượt cũ hơn.

Ví dụ, nếu chỉ giữ lại 2 user turns gần nhất:

flowchart TB A["Conversation History"] A --> B["Turn 1"] A --> C["Turn 2"] A --> D["Turn 3"] A --> E["Turn 4"] A --> F["Turn 5"] A --> G["Turn 6"] B --> H["Remove Older Turns"] C --> H D --> H E --> I["Keep Recent Turns"] F --> I G --> I

Đặc điểm:

  • Không cần gọi thêm LLM.
  • Hoạt động theo user turn thay vì cắt từng message tùy ý.
  • Dễ kiểm soát số lượng lượt hội thoại được giữ lại.
  • Có thể mất những thông tin quan trọng được đề cập từ rất lâu trước đó.

4.3. PipelineCompactionStrategy

MAF cho phép kết hợp nhiều chiến lược thành một pipeline.

Trong bài thực hành, chúng ta sẽ sử dụng hai chiến lược theo thứ tự:

flowchart TD A["Conversation History"] A --> B["SummarizationCompactionStrategy"] B --> C["SlidingWindowCompactionStrategy"] C --> D["Compacted Context"] D --> E["AI Model"]

Pipeline hoạt động theo nguyên tắc:

  1. Summarization kiểm tra điều kiện trigger. Nếu thỏa mãn, những message groups cũ sẽ được tổng hợp thành summary.
  2. Sliding Window tiếp tục kiểm tra điều kiện trigger trên kết quả của bước trước.
  3. Nếu Sliding Window được kích hoạt, những user turns cũ hơn sẽ bị loại bỏ theo cấu hình.
  4. Context sau khi xử lý được chuyển đến AI Model.

Lưu ý: Mỗi strategy có trigger riêng. Việc strategy đầu tiên chạy không đồng nghĩa strategy thứ hai chắc chắn cũng chạy. Nếu Summarization đã giảm số user turns xuống dưới ngưỡng của Sliding Window, chiến lược thứ hai sẽ không cần thực hiện thêm thao tác.

5. Xây dựng History Assistant với Context Compaction

Bây giờ, chúng ta sẽ áp dụng Context Compaction vào History Assistant từ Day 5.

Chúng ta tiếp tục sử dụng:

  • .NET 10.
  • Microsoft Agent Framework.
  • Google Gemini làm AI Model.
  • AgentSession để quản lý conversation.
  • SQL Server để lưu Persistent Sessions từ Day 4.

5.1. Thiết kế HistoryAssistantAgent

Ở những bài trước, chúng ta đã tạo Agent trực tiếp bằng một IChatClient.

Trong Day 6, mình muốn tổ chức lại code một chút để hỗ trợ hai cách khởi tạo:

  • Create(): Tạo History Assistant thông thường.
  • CreateWithCompaction(): Tạo History Assistant có thêm Compaction Pipeline.

Nhờ vậy, chúng ta có thể sử dụng cùng một Agent Definition và dễ dàng so sánh hai cách hoạt động.

Cấu trúc project:

MafGeminiDemo
│
├── Agents
│   └── HistoryAssistantAgent.cs
│
├── Services
│
├── Persistence
│
└── Program.cs

5.2. Định nghĩa History Assistant

Đầu tiên, chúng ta giữ nguyên instructions của History Assistant từ Day 5.

public const string HistoryAssistantInstructions = """
    You are History Assistant, an educational history assistant.

    Your responsibilities:
    - Explain historical events clearly and accurately.
    - Present events in chronological order when appropriate.
    - Distinguish historical facts from interpretations.
    - Explain important historical figures and their roles.
    - Use accessible language for learners.
    - If a historical claim is uncertain or debated,
      explain that uncertainty.

    Do not invent historical facts or citations.
    """;

5.3. Tạo HistoryAssistantAgent.cs

Đây là implementation hoàn chỉnh mà chúng ta sẽ sử dụng trong bài thực hành.

using Google.GenAI;
using Microsoft.Agents.AI;
using Microsoft.Agents.AI.Compaction;
using Microsoft.Extensions.AI;
using Microsoft.Extensions.Configuration;

namespace MafGeminiDemo.Agents;

public static class HistoryAssistantAgent
{
    public const string HistoryAssistantInstructions = """
        You are History Assistant, an educational history assistant.

        Your responsibilities:
        - Explain historical events clearly and accurately.
        - Present events in chronological order when appropriate.
        - Distinguish historical facts from interpretations.
        - Explain important historical figures and their roles.
        - Use accessible language for learners.
        - If a historical claim is uncertain or debated,
          explain that uncertainty.

        Do not invent historical facts or citations.
        """;

    /// <summary>
    /// Create HistoryAssistantAgent using IConfiguration
    /// or environment variables.
    /// </summary>
    public static AIAgent Create(
        IConfiguration? configuration = null)
    {
        string apiKey =
            configuration?["Gemini:ApiKey"]
            ?? Environment.GetEnvironmentVariable(
                "GOOGLE_GENAI_API_KEY")
            ?? Environment.GetEnvironmentVariable(
                "GEMINI_API_KEY")
            ?? throw new InvalidOperationException(
                "Gemini API Key chưa được cấu hình.");

        string model =
            configuration?["Gemini:Model"]
            ?? Environment.GetEnvironmentVariable(
                "GOOGLE_GENAI_MODEL")
            ?? "gemini-3.8-flash";

        var geminiClient = new Client(
            vertexAI: false,
            apiKey: apiKey);

        IChatClient chatClient =
            geminiClient.AsIChatClient(model);

        return Create(chatClient);
    }

    /// <summary>
    /// Create HistoryAssistantAgent using an existing IChatClient.
    /// </summary>
    public static AIAgent Create(
        IChatClient chatClient)
    {
        return chatClient.AsAIAgent(
            name: "HistoryAssistant",
            instructions: HistoryAssistantInstructions);
    }

    /// <summary>
    /// Create HistoryAssistantAgent with Context Compaction.
    /// </summary>
    public static AIAgent CreateWithCompaction(
        IChatClient agentChatClient,
        IChatClient? summarizerChatClient = null,
        int summarizationMessagesTrigger = 6,
        int summarizationPreservedGroups = 2,
        int slidingWindowTurnsTrigger = 4,
        int slidingWindowPreservedTurns = 2)
    {
        summarizerChatClient ??= agentChatClient;

#pragma warning disable MAAI001

        var summarizationStrategy =
            new SummarizationCompactionStrategy(
                chatClient: summarizerChatClient,
                trigger: CompactionTriggers.MessagesExceed(
                    summarizationMessagesTrigger),
                minimumPreservedGroups:
                    summarizationPreservedGroups,
                summarizationPrompt: """
                    Summarize the conversation history.

                    Preserve:
                    - Important historical topics.
                    - User preferences.
                    - Important facts and decisions.
                    - The chronological context of the discussion.

                    Do not invent facts.
                    Distinguish confirmed facts from uncertainty.
                    """
            );

        var slidingWindowStrategy =
            new SlidingWindowCompactionStrategy(
                trigger: CompactionTriggers.TurnsExceed(
                    slidingWindowTurnsTrigger),
                minimumPreservedTurns:
                    slidingWindowPreservedTurns
            );

        var compactionPipeline =
            new PipelineCompactionStrategy(
                summarizationStrategy,
                slidingWindowStrategy
            );

        AIAgent agent = agentChatClient
            .AsBuilder()
            .UseAIContextProviders(
                new CompactionProvider(compactionPipeline))
            .BuildAIAgent(
                new ChatClientAgentOptions
                {
                    Name = "HistoryAssistant",
                    ChatOptions = new()
                    {
                        Instructions =
                            HistoryAssistantInstructions
                    }
                });

#pragma warning restore MAAI001

        return agent;
    }
}

Hãy cùng phân tích những phần quan trọng trong implementation.

5.4. Cấu hình Gemini bằng IConfiguration

Trong method Create(), chúng ta đọc API key và model từ IConfiguration hoặc environment variables.

string apiKey =
    configuration?["Gemini:ApiKey"]
    ?? Environment.GetEnvironmentVariable(
        "GOOGLE_GENAI_API_KEY")
    ?? Environment.GetEnvironmentVariable(
        "GEMINI_API_KEY")
    ?? throw new InvalidOperationException(
        "Gemini API Key chưa được cấu hình.");

string model =
    configuration?["Gemini:Model"]
    ?? Environment.GetEnvironmentVariable(
        "GOOGLE_GENAI_MODEL")
    ?? "gemini-3.8-flash";

Thứ tự ưu tiên:

  1. Configuration được truyền vào.
  2. Environment variables.
  3. Model mặc định nếu không có cấu hình model.

Cách tổ chức này giúp chúng ta không phải hardcode API key trong source code.

5.5. Tách Agent ChatClient và Summarizer ChatClient

Trong method CreateWithCompaction(), chúng ta nhận hai tham số:

IChatClient agentChatClient,
IChatClient? summarizerChatClient = null

Vai trò của chúng:

Client Trách nhiệm
agentChatClient Xử lý câu hỏi và tạo câu trả lời cho người dùng.
summarizerChatClient Tổng hợp conversation history thành summary.

Chúng ta cũng có đoạn code:

summarizerChatClient ??= agentChatClient;

Điều này có nghĩa là nếu người dùng không truyền một summarizer riêng, hệ thống sẽ sử dụng chung agentChatClient.

Đây là cách đơn giản để bắt đầu demo mà không cần cấu hình hai model khác nhau.

Trong production, chúng ta có thể sử dụng một model nhỏ hơn cho summarization để tiết kiệm chi phí.

5.6. Cấu hình SummarizationCompactionStrategy

Đây là phần quan trọng nhất của Day 6.

var summarizationStrategy =
    new SummarizationCompactionStrategy(
        chatClient: summarizerChatClient,
        trigger: CompactionTriggers.MessagesExceed(
            summarizationMessagesTrigger),
        minimumPreservedGroups:
            summarizationPreservedGroups,
        summarizationPrompt: """
            Summarize the conversation history.

            Preserve:
            - Important historical topics.
            - User preferences.
            - Important facts and decisions.
            - The chronological context of the discussion.

            Do not invent facts.
            Distinguish confirmed facts from uncertainty.
            """
    );

Chúng ta sử dụng ba cấu hình chính:

  • chatClient: Client dùng để tạo summary.
  • trigger: Điều kiện kích hoạt summarization.
  • minimumPreservedGroups: Số message groups gần nhất cần bảo vệ.

Trong đó, MessagesExceed() sẽ kiểm tra số lượng messages đang được đưa vào quá trình compaction.

Ví dụ:

CompactionTriggers.MessagesExceed(6)

Điều này có nghĩa là strategy được kích hoạt khi số lượng messages vượt quá 6, không phải khi số lượng bằng đúng 6.

Một điểm cần chú ý là MAF không xử lý conversation như một danh sách message hoàn toàn độc lập. Framework nhóm các message thành những đơn vị logic gọi là MessageGroup.

Ví dụ, một tool call và kết quả tương ứng cần được giữ hoặc loại bỏ cùng nhau để tránh tạo ra một conversation không hợp lệ.

Vì vậy, minimumPreservedGroups = 2 có nghĩa là bảo vệ ít nhất hai message groups gần nhất, không đồng nghĩa với việc luôn giữ chính xác hai messages.

Đây cũng là lý do chúng ta cần phân biệt Message, MessageGroup và User Turn.

5.7. Cấu hình SlidingWindowCompactionStrategy

Tiếp theo là Sliding Window:

var slidingWindowStrategy =
    new SlidingWindowCompactionStrategy(
        trigger: CompactionTriggers.TurnsExceed(
            slidingWindowTurnsTrigger),
        minimumPreservedTurns:
            slidingWindowPreservedTurns
    );

Trong ví dụ này:

  • TurnsExceed(4): Kích hoạt khi số user turns vượt quá 4.
  • minimumPreservedTurns = 2: Bảo vệ ít nhất hai user turns gần nhất.

Khác với MessagesExceed(), TurnsExceed() hoạt động dựa trên số lượt hội thoại của người dùng.

Một user turn bắt đầu từ message của User và bao gồm những response liên quan của Assistant, cho đến khi bắt đầu user turn tiếp theo.

5.8. Tạo PipelineCompactionStrategy

Sau khi tạo hai strategies, chúng ta kết hợp chúng:

var compactionPipeline =
    new PipelineCompactionStrategy(
        summarizationStrategy,
        slidingWindowStrategy
    );

Thứ tự ở đây rất quan trọng:

  1. Summarization xử lý những nội dung cũ trước.
  2. Sliding Window tiếp tục xử lý nếu điều kiện trigger vẫn thỏa mãn.

Pipeline không có nghĩa cả hai strategy luôn chạy. Mỗi strategy vẫn tự đánh giá điều kiện của mình.

5.9. Đăng ký CompactionProvider

Cuối cùng, chúng ta đăng ký CompactionProvider vào ChatClientBuilder:

AIAgent agent = agentChatClient
    .AsBuilder()
    .UseAIContextProviders(
        new CompactionProvider(compactionPipeline))
    .BuildAIAgent(
        new ChatClientAgentOptions
        {
            Name = "HistoryAssistant",
            ChatOptions = new()
            {
                Instructions =
                    HistoryAssistantInstructions
            }
        });

Đây là điểm kết nối Compaction Pipeline với History Assistant.

Thay vì phải tự gọi Summarization trước mỗi request, chúng ta để MAF quản lý quá trình này thông qua CompactionProvider.

6. Bộ thông số Demo: Nhanh chóng nhìn thấy Compaction

Nếu sử dụng các ngưỡng quá lớn, chúng ta sẽ phải chat rất nhiều lượt mới nhìn thấy kết quả.

Vì vậy, trong implementation của History Assistant, mình chọn những giá trị mặc định nhỏ để thuận tiện cho việc demo.

Parameter Demo Value Ý nghĩa
summarizationMessagesTrigger 6 Summarization bắt đầu khi message count vượt quá 6.
summarizationPreservedGroups 2 Bảo vệ ít nhất 2 message groups gần nhất.
slidingWindowTurnsTrigger 4 Sliding Window bắt đầu khi user turns vượt quá 4.
slidingWindowPreservedTurns 2 Bảo vệ ít nhất 2 user turns gần nhất.

6.1. Tại sao chọn những giá trị này?

Hãy giả sử một conversation đơn giản, không có tool calls:

Turn 1:
User      -> Question 1
Assistant -> Answer 1

Turn 2:
User      -> Question 2
Assistant -> Answer 2

Turn 3:
User      -> Question 3
Assistant -> Answer 3

Lúc này chúng ta có 6 messages.

Khi bắt đầu lượt tiếp theo, nếu message count vượt quá 6, SummarizationCompactionStrategy có thể được kích hoạt.

Với minimumPreservedGroups = 2, strategy sẽ bảo vệ ít nhất hai groups gần nhất, đồng thời tổng hợp những groups cũ hơn nếu có thể.

Đây là cấu hình giúp chúng ta dễ quan sát quá trình compaction trong một buổi demo ngắn.

Lưu ý: Không nên xem con số 3 câu hỏi là một thời điểm kích hoạt tuyệt đối. Việc thực tế kích hoạt còn phụ thuộc vào message count tại thời điểm MAF thực thi pipeline và cách messages được phân nhóm.

6.2. Thử nghiệm với các cấu hình khác nhau

Nhờ sử dụng optional parameters, chúng ta có thể thay đổi cấu hình mà không cần chỉnh sửa implementation.

Ví dụ:

AIAgent agent = HistoryAssistantAgent.CreateWithCompaction(
    agentChatClient,
    summarizerChatClient,
    summarizationMessagesTrigger: 10,
    summarizationPreservedGroups: 4,
    slidingWindowTurnsTrigger: 8,
    slidingWindowPreservedTurns: 4);

Với cấu hình này, Agent sẽ có nhiều conversation history hơn trước khi bắt đầu compaction.

7. Sử dụng HistoryAssistantAgent trong Program.cs

Sau khi đã có implementation, chúng ta có thể khởi tạo Agent theo hai cách.

7.1. Agent thông thường

AIAgent agent = HistoryAssistantAgent.Create(
    configuration);

Đây là cách tạo Agent giống như các bài trước, không có Compaction Pipeline.

7.2. Agent có Context Compaction

AIAgent agent = HistoryAssistantAgent.CreateWithCompaction(
    agentChatClient);

Trong ví dụ trên, chúng ta chỉ truyền một IChatClient. Summarizer sẽ tự động sử dụng cùng client này.

Nếu muốn tách riêng hai client:

AIAgent agent = HistoryAssistantAgent.CreateWithCompaction(
    agentChatClient,
    summarizerChatClient);

Nhờ đó, chúng ta có thể sử dụng model khác nhau cho nhiệm vụ trả lời và summarization.

8. Compaction kết hợp với Persistent Sessions từ Day 4 và Streaming từ Day 5

Đây là phần giúp Day 6 kết nối trực tiếp với kiến thức đã học trước đó.

Ở Day 4, chúng ta đã sử dụng SQL Server để lưu trạng thái hội thoại.

Ở Day 5, chúng ta sử dụng RunStreamingAsync() để hiển thị nội dung từng phần.

Ở Day 6, chúng ta bổ sung CompactionProvider vào Agent.

8.1. Kiến trúc xử lý

sequenceDiagram participant U as User participant A as Application participant DB as SQL Server participant M as History Agent participant C as Compaction Provider participant L as Gemini U->>A: Open Conversation A->>DB: Load serialized session DB-->>A: SerializedState A->>A: Restore AgentSession U->>A: Ask a question A->>M: RunStreamingAsync(prompt, session) M->>C: Prepare context C->>C: Evaluate pipeline triggers C->>C: Summarize old messages C->>C: Apply sliding window if needed C->>L: Send compacted context loop Receive updates L-->>A: AgentResponseUpdate A-->>U: Display available text end A->>DB: Save updated session

Với cách đăng ký CompactionProvider trên ChatClientBuilder bằng UseAIContextProviders(), MAF thực hiện compaction trên context đang được gửi đến model.

Điều này có nghĩa là:

  • Người dùng vẫn tiếp tục sử dụng cùng ConversationId.
  • Agent vẫn sử dụng cùng AgentSession.
  • Compaction không yêu cầu thay đổi SQL Server persistence.
  • Source conversation history được giữ nguyên bởi history provider.

Đây là điểm rất quan trọng: chúng ta có thể giảm lượng context gửi đến model mà không cần thay đổi cơ chế lưu lịch sử gốc.

8.2. Streaming vẫn sử dụng như Day 5

Phương thức streaming vẫn giữ nguyên cách sử dụng:

public static async Task StreamHistoryResponseAsync(
    AIAgent agent,
    AgentSession session,
    string prompt,
    CancellationToken cancellationToken = default)
{
    Console.WriteLine("History Assistant:");

    await foreach (var update in agent.RunStreamingAsync(
        prompt,
        session,
        cancellationToken: cancellationToken))
    {
        if (!string.IsNullOrEmpty(update.Text))
        {
            Console.Write(update.Text);
        }
    }

    Console.WriteLine();
}

Compaction được thực hiện bên trong pipeline trước khi nội dung được gửi đến model. Chúng ta không cần tự gọi Summarization trước mỗi lần RunStreamingAsync().

Sau khi streaming hoàn tất thành công, tiếp tục sử dụng cơ chế serialize session và lưu SQL Server đã xây dựng ở Day 4.

Như vậy, ba tính năng giải quyết ba vấn đề khác nhau:

Feature Responsibility
Persistent Sessions Lưu và khôi phục trạng thái hội thoại.
Streaming Nhận nội dung phản hồi từng phần.
Context Compaction Giảm lượng context gửi đến model.

9. CompactionProvider và IChatReducer khác nhau thế nào?

Trong MAF, có một điểm cần phân biệt giữa việc rút gọn context gửi đến model và việc rút gọn history được lưu trữ.

Tiêu chí CompactionProvider IChatReducer
Vai trò Rút gọn context gửi đến model. Rút gọn history được quản lý bởi history provider.
Original History Được giữ nguyên khi đăng ký trên ChatClientBuilder. Có thể bị thay đổi bởi reducer.
Persistence Không tự động thay đổi source history được lưu. History được lưu có thể đã là reduced history.
Use case Kiểm soát context của từng request. Giới hạn dung lượng history được lưu giữ.

MAF cho phép chuyển đổi một CompactionStrategy thành IChatReducer thông qua AsChatReducer().

Ví dụ:

#pragma warning disable MAAI001

CompactionStrategy strategy =
    new SlidingWindowCompactionStrategy(
        CompactionTriggers.TurnsExceed(20));

var historyOptions =
    new InMemoryChatHistoryProviderOptions
    {
        ChatReducer = strategy.AsChatReducer()
    };

var historyProvider =
    new InMemoryChatHistoryProvider(historyOptions);

#pragma warning restore MAAI001

Đây là một hướng khác, phù hợp khi muốn giới hạn chính history được quản lý bởi InMemoryChatHistoryProvider.

Trong bài thực hành này, chúng ta chưa chuyển sang hướng đó vì đang tiếp tục sử dụng Persistent Sessions từ Day 4 và muốn giữ nguyên source conversation history.

10. Những điều cần lưu ý khi sử dụng Context Compaction

10.1. Summarization không đảm bảo giữ lại mọi thông tin

Summary là nội dung được tạo bởi LLM. Vì vậy, một số chi tiết nhỏ có thể bị lược bỏ hoặc diễn đạt lại.

Ví dụ, nếu người dùng đưa ra một con số, ngày tháng hoặc một quyết định quan trọng, cần thiết kế summarization prompt để ưu tiên bảo toàn những thông tin đó.

10.2. Summarization có thêm chi phí

SummarizationCompactionStrategy cần gọi một LLM để tạo summary.

Vì vậy, chúng ta cần cân nhắc giữa chi phí tạo summary và chi phí xử lý conversation history dài.

10.3. Sliding Window có thể làm mất thông tin cũ

Sliding Window chỉ giữ lại những lượt gần nhất.

Nếu người dùng hỏi lại một thông tin được đề cập từ 50 lượt trước và thông tin đó không nằm trong phần được giữ lại, Agent có thể không còn biết câu trả lời.

Đây là một trong những lý do chúng ta kết hợp nhiều chiến lược thay vì chỉ sử dụng Sliding Window.

10.4. Compaction Framework hiện đang Experimental

Microsoft hiện đánh dấu Compaction Framework trong .NET là Experimental.

Vì vậy, chúng ta cần xử lý cảnh báo MAAI001 khi sử dụng các API này.

API có thể tiếp tục thay đổi trong những phiên bản tiếp theo. Không nên xem các abstraction hiện tại là contract ổn định cho production mà chưa đánh giá thêm.

10.5. Compaction không thay thế Long-term Memory

Compaction giúp rút gọn thông tin trong conversation context.

Nhưng nó không phải giải pháp hoàn chỉnh để lưu trữ những thông tin quan trọng của người dùng xuyên nhiều cuộc hội thoại.

Đây chính là lý do chúng ta cần Long-term Memory, chủ đề sẽ được tìm hiểu trong Day 7.

11. Tổng kết

Trong Day 6, chúng ta đã tìm hiểu:

  • Token và Context Window.
  • Vì sao conversation dài ảnh hưởng đến chi phí và hiệu năng.
  • Context Compaction là gì.
  • SummarizationCompactionStrategy.
  • SlidingWindowCompactionStrategy.
  • Cách kết hợp nhiều chiến lược bằng PipelineCompactionStrategy.
  • Cách đăng ký CompactionProvider vào History Assistant.
  • Sự khác nhau giữa CompactionProvider và IChatReducer.
  • Cách kết hợp Compaction với Streaming và Persistent Sessions.

Chúng ta đã có thêm một cơ chế quan trọng để quản lý những cuộc hội thoại dài mà không phải thay đổi toàn bộ kiến trúc ứng dụng.

12. Bài tập thực hành

Hãy mở project MafGeminiDemo đã xây dựng từ Day 1 đến Day 5 và thực hiện các yêu cầu sau:

  1. Tiếp tục sử dụng History Assistant với Gemini.
  2. Tạo một conversation có ít nhất 10 lượt trao đổi.
  3. Đưa vào một số thông tin mà bạn muốn Agent ghi nhớ, ví dụ chủ đề đang nghiên cứu và cách trình bày mong muốn.
  4. Khởi tạo Agent bằng CreateWithCompaction().
  5. Quan sát quá trình Summarization khi message count vượt quá ngưỡng cấu hình.
  6. Thử thay đổi summarizationMessagesTrigger và summarizationPreservedGroups.
  7. Thử thay đổi slidingWindowTurnsTrigger và slidingWindowPreservedTurns.
  8. So sánh khả năng duy trì ngữ cảnh của các cấu hình khác nhau.
  9. Khởi động lại ứng dụng, khôi phục session từ SQL Server và tiếp tục hội thoại.

Câu hỏi mở rộng:

Nếu người dùng mở một Conversation mới, nhưng chúng ta vẫn muốn Agent biết những thông tin quan trọng từ những Conversation trước đó, liệu Context Compaction có giải quyết được vấn đề này không?

Đây sẽ là vấn đề chúng ta tiếp tục khám phá trong bài tiếp theo: Long-term Memory.

13. Tài liệu tham khảo

Nhận xét

Bài đăng phổ biến từ blog này

[ASP.NET MVC] Authentication và Authorize

Một trong những vấn đề bảo mật cơ bản nhất là đảm bảo những người dùng hợp lệ truy cập vào hệ thống. ASP.NET đưa ra 2 khái niệm: Authentication và Authorize Authentication xác nhận bạn là ai. Ví dụ: Bạn có thể đăng nhập vào hệ thống bằng username và password hoặc bằng ssh. Authorization xác nhận những gì bạn có thể làm. Ví dụ: Bạn được phép truy cập vào website, đăng thông tin lên diễn đàn nhưng bạn không được phép truy cập vào trang mod và admin.

Tổng hợp một số kiến thức lập trình về Amibroker

Giới thiệu về Amibroker Amibroker theo developer Tomasz Janeczko được xây dựng dựa trên ngôn ngữ C. Vì vậy bộ code Amibroker Formula Language sử dụng có syntax khá tương đồng với C, ví dụ như câu lệnh #include để import hay cách gói các object, hàm trong các block {} và kết thúc câu lệnh bằng dấu “;”. AFL trong Amibroker là ngôn ngữ xử lý mảng (an array processing language). Nó hoạt động dựa trên các mảng (các dòng/vector) số liệu, khá giống với cách hoạt động của spreadsheet trên excel.

ASP.NET MVC: Cơ bản về Validation

Validation (chứng thực) là một tính năng quan trọng trong ASP.NET MVC và được phát triển trong một thời gian dài. Validation vắng mặt trong phiên bản đầu tiên của asp.net mvc và thật khó để tích hợp 1 framework validation của một bên thứ 3 vì không có khả năng mở rộng. ASP.NET MVC2 đã hỗ trợ framework validation do Microsoft phát triển, tên là Data Annotations. Và trong phiên bản 3, framework validation đã hỗ trợ tốt hơn việc xác thực phía máy khách, và đây là một xu hướng của việc phát triển ứng dụng web ngày nay.