Nhật ký học tập

Trong Machine Learning cổ điển, khi muốn kiểm tra độ ổn định của mô hình, chúng ta thường dùng K-Fold Cross-Validation . Chúng ta xáo trộn dữ liệu, chia làm K phần và huấn luyện. Tuy nhiên, nếu bạn áp dụng cách này cho dữ liệu chuỗi thời gian (Time Series) như dự báo thời tiết, lượng điện tiêu thụ hay lưu lượng server, bạn đang mắc một sai lầm nghiêm trọng: Data Leakage (Rò rỉ dữ liệu). Lý do đơn giản: Bạn không thể dùng dữ liệu của "ngày mai" để dạy cho mô hình dự đoán "hôm nay". Hôm nay, chúng ta sẽ tìm hiểu về Walk-Forward Validation (WFV) và Walk-Forward Optimization (WFO) – tiêu chuẩn vàng để kiểm thử các mô hình phụ thuộc thời gian, đi kèm ví dụ thực tế sử dụng .NET 10 và ML.NET . 1. Walk-Forward Validation (WFV) là gì? Hãy tưởng tượng bạn đang đứng trên dòng thời gian. Bạn chỉ biết quá khứ và muốn dự đoán tương lai gần. WFV mô phỏng chính xác quá trình này. Thay vì xáo trộn dữ liệu ngẫu nhiên, WFV sử dụng một "cửa sổ trượt" (sliding...

Lúc mới học log, mình thấy nó khá khó chịu. Không phải vì công thức, mà vì câu hỏi này: “Tại sao logarithm (log) lại tồn tại?” Nếu chỉ học kiểu: $$ \log_4(16) = 2,\quad \log_4\left(\frac{1}{16}\right) = -2 $$ thì rất dễ quên. Vì não mình không biết tại sao mình cần nó . Bài này mình viết để trả lời đúng câu hỏi đó: log ra đời để làm gì, và vì sao ln được dùng nhiều nhất . 1. Log không sinh ra vì toán học đẹp Log ra đời vì con người… mệt. Trước khi có máy tính, người ta phải nhân và chia những con số rất lớn: tính lãi suất, hàng hải, thiên văn, thương mại. Nhân tay là cực hình. Ý tưởng thiên tài lúc đó là: “Có cách nào biến phép nhân thành phép cộng không?” Nếu một số được viết dưới dạng lũy thừa: $$ a^m \times a^n = a^{m+n} $$ thì phép nhân biến thành phép cộng. Log chính là cách để ghi lại số mũ đó. 2. Log thực sự đo cái gì? Log chỉ trả lời một câu hỏi duy nhất: “Cần nhân cơ số bao nhiêu lần để ra con số này?” Ví dụ: $$ \lo...

1. Kaggle là gì? Kaggle là một nền tảng trực tuyến tập trung vào Data Science và Machine Learning, nơi người học có thể thực hành với các bài toán dữ liệu thực tế thông qua các cuộc thi, dataset và notebook chia sẻ từ cộng đồng. 2. Các thành phần chính của Kaggle 2.1 Competitions Các cuộc thi trên Kaggle cung cấp bài toán thực tế, dữ liệu huấn luyện, dữ liệu kiểm tra và thước đo đánh giá rõ ràng. Một ví dụ tiêu biểu là cuộc thi dự đoán giá nhà (House Prices). 2.2 Datasets Kaggle cung cấp hàng nghìn bộ dữ liệu miễn phí thuộc nhiều lĩnh vực, phục vụ cho việc học tập, nghiên cứu và thực hành Machine Learning. 2.3 Notebooks & Community Notebook cho phép chạy code trực tiếp trên trình duyệt và học hỏi từ các lời giải, phân tích của cộng đồng. 3. Có thể dùng ML.NET để giải Kaggle không? Kaggle không giới hạn ngôn ngữ hay framework. Người học hoàn toàn có thể sử dụng ML.NET với C# để huấn lu...

Trong các bài toán học máy với dữ liệu chuỗi thời gian, đặc trưng thời gian như hour , day , month có tính chất vòng lặp. Tuy nhiên nếu biểu diễn chúng như các số tuyến tính thông thường, model sẽ hiểu sai về độ gần nhau của các thời điểm. Để máy học hiểu được tính chất vòng lặp này, chúng ta sử dụng toán học ánh xạ thời gian lên một vòng tròn đơn vị (Unit Circle) bằng các hàm lượng giác sin và cos . Nguồn tham khảo chính cho kỹ thuật này được lấy từ bài viết: Cyclical Encoding: An Alternative to One-Hot Encoding for Time Series Features (Haden Pelletier, May 3, 2024). Biểu diễn thời gian bằng Sin & Cos Mỗi thời điểm trong một chu kỳ được tách thành hai feature mới: Sin Component Cos Component Công thức tổng quát: $$ x_{sin} = \sin\left(\frac{2 \pi \times t}{T}\right) $$ $$ x_{cos} = \cos\left(\frac{2 \pi \times t}{T}\right) $$ Trong đó: $t$ : giá trị thời gian hiện tại (ví dụ: giờ trong ngày). $T$ : độ...

Machine Learning (ML) không còn là sân chơi riêng của Python hay các team AI lớn. Với ML.NET , C# developer có thể xây dựng, train và sử dụng model Machine Learning ngay trong hệ sinh thái .NET quen thuộc. Bài viết này hướng tới việc giúp bạn hiểu bản chất ML.NET, không chỉ dừng lại ở việc copy code. 1. Machine Learning là gì? Ở mức đơn giản nhất: Machine Learning = viết chương trình mà logic không nằm trong code, mà nằm trong dữ liệu. Thay vì viết các điều kiện if-else ngày càng phức tạp, ta đưa dữ liệu quá khứ cho model học và tự rút ra quy luật. if (age > 30 && income > 100000) { return "Good Customer"; } Machine Learning không thay thế developer — nó thay thế những rule-based logic quá cứng nhắc và khó mở rộng. 2. ML.NET giúp C# developer như thế nào? ML.NET là framework Machine Learning mã nguồn mở do Microsoft phát triển, cho phép bạn: Viết ML 100% bằng C# Chạy trực tiếp trong .NET runtime Train, evaluat...

Bạn có bao giờ thắc mắc tại sao khi học Machine Learning, người ta luôn nhấn mạnh về "normalization" (chuẩn hóa dữ liệu)? Và tại sao khi code, nhiều người bị "kẹt" ở mảng 2D, 3D trong C# hay các ngôn ngữ khác mà không biết cách tư duy về không gian nhiều chiều hơn? Bài viết này sẽ giúp bạn hiểu rõ vấn đề thông qua một ví dụ đơn giản nhưng rất trực quan. Bài toán: Dự đoán người mua nhà Giả sử chúng ta muốn dự đoán một người có mua nhà hay không dựa trên: Chiều cao (Height): từ 165cm đến 180cm Thu nhập (Income): từ 8 triệu đến 20 triệu VNĐ/tháng Lưu ý: Ví dụ này không nhằm hợp lý về mặt kinh tế (chiều cao không liên quan đến việc mua nhà), mà chỉ để minh họa tác động của normalization lên không gian dữ liệu. Dataset mẫu Height,Income,BuyHouse 165,8000000,false 168,9000000,false 170,10000000,false 172,12000000,false 175,15000000,true 178,18000000,true 180,20000000,true Phần 1: Không gian 1 Chiều (1D) Giả sử ban đầu chúng ta chỉ xét một yếu...