← All Projects
Data Engineering & Automation Pipeline

K12Online Knowledge Toolkit: Data Pipeline & RAG Profiler

High-performance data pipeline built with Python 3.14 to ingest and profile 383+ enterprise CMS articles. Implements Chrome TLS 124 fingerprinting for cloud compatibility, context length distribution analysis, and 1-click automated synchronization for RAG systems.

Python 3.14curl_cffiTLS FingerprintingWeb ScrapingData ProfilingNode.jsSSE StreamingAutomation

Project Case Study

K12Online Knowledge Toolkit: Xây Dựng Pipeline Data Engineering Hiệu Năng Cao, Đo Lường Ngữ Liệu RAG & Tối Ưu Hóa Tri Thức Giáo Dục

"Trong kỷ nguyên của Trí tuệ Nhân tạo, 90% thành bại của một hệ thống RAG không nằm ở việc chọn model LLM đắt tiền nào, mà nằm ở độ tinh khiết, tính toàn vẹn và kỹ thuật tiền xử lý dữ liệu trước khi nạp vào bộ nhớ ngữ cảnh."
🛡️ Tuyên bố Miễn trừ Trách nhiệm & Tính chất Dự án (Disclaimer):
Đây là nghiên cứu trường hợp (Case Study) phi lợi nhuận phục vụ mục đích học thuật và hỗ trợ cộng đồng giáo dục. Tác giả không đại diện, không liên kết chính thức và không có mục đích thương mại với Tập đoàn Viettel hay nền tảng K12Online. Mọi dữ liệu phân tích đều là tài liệu hướng dẫn sử dụng công khai, được trích dẫn nguyên văn và dẫn nguồn minh bạch về trang web chính thức của nhà phát hành (hotro.k12online.vn).

1. Bối Cảnh & Thách Thức Cốt Lõi (The Engineering Motivation)

Khi xây dựng hệ thống trợ lý ảo thông minh K12Online Chatbot phục vụ cộng đồng giáo viên và học sinh, rào cản kỹ thuật khó khăn nhất không phải là viết giao diện chat hay gọi API mô hình ngôn ngữ lớn (LLM). Thách thức thực sự nằm ở tầng kỹ thuật dữ liệu (Data Engineering Pipeline).

Cổng thông tin hỗ trợ kỹ thuật của nền tảng tại hotro.k12online.vn đặt ra ba bài toán kỹ thuật thú vị đối với bất kỳ kỹ sư dữ liệu nào:

  1. Yêu cầu tương thích chuẩn bắt tay TLS của hạ tầng Cloud: Máy chủ cổng thông tin áp dụng các chính sách an toàn mạng nghiêm ngặt. Các thư viện HTTP script cơ bản như requests hay urllib thường không tương thích chữ ký TLS của trình duyệt (TLS/JA3 Fingerprint), dẫn tới kết nối bị từ chối phục vụ.
  2. Cấu trúc phân trang tải động AJAX ngầm: Cổng chạy trên nền tảng VHV CMS. Các công cụ thu thập HTML tĩnh bề nổi chỉ nhận được 4 bài viết ban đầu trên mỗi danh mục (khoảng 80 bài viết), bỏ sót hơn 300 bài viết nghiệp vụ chuyên sâu của hệ thống!
  3. Điểm nghẽn bài viết quá khổ (The 67,000-character Context Overflow): Trong kho dữ liệu tồn tại những bài cẩm nang đồ sộ dài tới 67.600 ký tự (14.370 từ). Khi người dùng hỏi một câu khái quát, LLM bị quá tải context, tiêu tốn lượng token khổng lồ và thường xuyên bị cắt cụt câu trả lời giữa chừng (Output Truncation).

`k12online-knowledge-toolkit` được thiết kế như một bộ công cụ độc lập, toàn diện và chuyên nghiệp nhằm giải quyết trọn gói toàn bộ chuỗi mắt xích: từ thu thập dữ liệu chuẩn hóa, làm sạch ngữ liệu, đo lường độ dài, sinh câu trả lời mồi (Pre-baked Warm Cache) đến đồng bộ 1-click sang hệ thống Chatbot Core.

[Hình ảnh giao diện: Sơ đồ tổng thể luồng dữ liệu 4 tầng của Toolkit: Ingestion (TLS Compatible) ➔ Profiling (Length Analyzer) ➔ Optimization (Pre-baked Cache) ➔ 1-Click Sync sang Chatbot Core]

2. Kiến Trúc Phân Tầng Của Bộ Công Cụ (Modular Architecture)

Bộ công cụ được tổ chức theo tiêu chuẩn kiến trúc Module hóa tách biệt (Decoupled & Self-contained), mỗi phân hệ đảm nhận một mắt xích chuyên biệt:

  • crawlers/: Module thu thập dữ liệu tự động, bóc tách cấu trúc CMS và gộp tri thức.
  • analyzers/: Module đo lường ngữ liệu định lượng, phân cấp ngưỡng an toàn context.
  • processors/: Module tiền xử lý câu trả lời soạn trước (Pre-baked Answers) và bộ so khớp tiếng Việt thông minh.
  • prototypes/: Module Web Chatbot độc lập (Zero-dependency) phục vụ kiểm thử nhanh mà không cần cài framework nặng.
  • reports/: Kho lưu trữ báo cáo tự động dạng bảng Markdown và JSON phục vụ CI/CD.

3. Đi Sâu Kỹ Thuật: Hóa Giải Từng Bài Toán Nan Giải

3.1. Đảm Bảo Tương Thích Chuẩn Bắt Tay TLS (Chrome TLS 124 Fingerprinting)

Thông thường, để xử lý các yêu cầu kiểm tra TLS, các kỹ sư thường dùng Selenium hoặc Puppeteer/Playwright. Tuy nhiên, cách tiếp cận này tiêu tốn rất nhiều RAM, CPU và tốc độ tải rất chậm (5–10 giây cho một trang).

Tôi đã chọn giải pháp hiệu năng cao: `curl_cffi` với khả năng đàm phán hoàn hảo cấu trúc bắt tay SSL/TLS (JA3/TLS Fingerprint) tương đương Google Chrome 124:

  • Gửi các HTTP request ở cấp độ Socket/C nguyên bản, đảm bảo tính tương thích cao với hạ tầng mạng mà chỉ tiêu tốn vài MB RAM.
  • Cơ chế Nhịp thở Thông minh (Adaptive Batching): Thiết kế chu kỳ giãn cách hợp lý giữa các đợt tải (batch requests) nhằm bảo đảm không gây áp lực lưu lượng lên máy chủ của nhà phát hành.
  • Khả năng phục hồi (Resume Capability): Kiểm tra trạng thái file cục bộ, tự động bỏ qua các bài đã tải thành công, đảm bảo không bao giờ bị mất dữ liệu hay tải lặp lại khi mạng chập chờn.
[Hình ảnh giao diện: Ảnh chụp Terminal khi script `crawl_k12_full.py` đồng bộ thành công 383 bài viết với thông tin Chuyên mục, Tiêu đề và dung lượng ký tự từng bài]

3.2. Phân Tích Luồng Dữ Liệu Mạng & Tối Ưu Hóa Truy Vấn Qua Listing Service

Thay vì quét từng trang tĩnh HTML đầy rủi ro và bỏ sót bài, script kết nối thẳng vào service xử lý dữ liệu của CMS:

POST https://hotro.k12online.vn/?module=Content.Listing

Với cấu hình tham số: service: Content.Article.selectAll, itemsPerPage: 100, orderBy: publishTime DESC. Kết quả: Đồng bộ sạch sẽ 100% sitemap toàn hệ thống với đúng 383 bài viết duy nhất chỉ trong vòng 3 giây!

3.3. Bộ Parser Chuẩn Hóa Văn Bản & Trích Xuất Link Gốc .html Tuyệt Đối

Bộ trích xuất kế thừa HTMLParser của thư viện chuẩn Python, tự động loại bỏ các đoạn mã script, CSS, quảng cáo, menu điều hướng và phân loại Breadcrumb chính xác. Đặc biệt, regex trích xuất link nguồn đã được tối ưu tương thích hoàn toàn với ký tự ngắt dòng Windows CRLF (\r\n):

Link gốc:\s*(https?:\/\/[^\s\r\n]+)

Đảm bảo 100% trong số 383 bài viết đều giữ nguyên vẹn đường dẫn URL có đuôi .html chi tiết để người dùng có thể đối soát minh bạch.

[Hình ảnh giao diện: File bài viết `.txt` mẫu với cấu trúc 3 phần chuẩn mực: Header STT/Tiêu đề, Chuyên mục, Link gốc .html và Nội dung từng bước rõ ràng]

4. Đo Lường Định Lượng Ngữ Liệu (The Knowledge Profiler)

Một sai lầm phổ biến khi triển khai RAG là nhồi toàn bộ tài liệu tìm kiếm được vào Context của mô hình LLM mà không đo lường trước độ dài. Script scan_article_lengths.py trong module analyzers/ đóng vai trò là "máy quét X-quang" cho toàn bộ kho tri thức.

Báo Cáo Phân Cấp Ba Tầng Ngưỡng Ký Tự

Kết quả quét thực tế trên toàn bộ 383 bài viết của K12Online:

Phân cấpNgưỡng ký tựSố lượngTỷ lệ (%)Chiến lược xử lý RAG🟢 SAFE< 6.000 ký tự362 bài94.5%Nạp trực tiếp vào context prompt của LLM. Sinh câu trả lời trong 1–3 giây.🟡 WARNING6.000 – 15.000 ký tự20 bài5.2%Cắt gọn ngân sách trích đoạn (Context Budgeting: 15.000 ký tự/bài) để chống tràn token.🔴 OVERSIZED> 15.000 ký tự1 bài0.3%Bài `#255 Thư viện số` (67.600 ký tự). Áp dụng Pre-baked Warm Cache Streaming (0ms, 0 token, không cụt).[Hình ảnh giao diện: Báo cáo tự động `article_length_report.md` hiển thị bảng xếp hạng dung lượng top 20 bài viết dài nhất hệ thống K12Online]

5. Đột Phá Kiến Trúc: Pre-baked Warm Cache Streaming

Đối với bài viết 67.600 ký tự về Thư viện số, việc cố ép LLM sinh toàn bộ 7 phân hệ lớn từ con số 0 trong mỗi phiên hỏi là một giải pháp tồi (tốn hàng nghìn token, độ trễ 20–30s, nguy cơ đứt gãy cao).

Tôi đã thiết kế giải pháp Pre-baked Warm Cache trong module processors/:

  1. Soạn thảo câu trả lời cẩm nang hoàn hảo: Đầy đủ 7 phân hệ lớn (Dashboard, Phân quyền, Biên mục MARC 21/DDC, Đọc trực tuyến, Quy trình Mượn - Trả, Kiểm kê - Thanh lý, Báo cáo chuẩn Bộ GD&ĐT).
  2. Bộ so khớp tiếng Việt 3 tầng (`findPrebakedAnswer`):
  3. Simulated Typing Stream: Trả lời qua Server-Sent Events gõ từng cụm 3 từ mỗi 15ms. Người dùng có trải nghiệm thị giác mượt mà như AI đang tương tác, nhưng độ trễ phản hồi bằng 0ms và tiêu tốn 0 token API!
[Hình ảnh giao diện: Script `test_prebaked.js` chạy kiểm thử thành công: Bắt trúng câu hỏi Thư viện số, Mượn trả sách, Đợt thu học phí và chuyển tiếp mượt mà cho AI với các câu hỏi khác]

6. Tiến Trình Đồng Bộ Tự Động 1-Click (1-Click Sync Pipeline)

Để nối liền bộ công cụ Toolkit với dự án Chatbot chính đang chạy Production, tôi đã viết script tự động hóa `sync_to_chatbot.py`. Chỉ với 1 dòng lệnh duy nhất:

python sync_to_chatbot.py

Hệ thống tự động thực thi tuần tự 4 tác vụ phức tạp:

7. Chatbot Web Độc Lập Zero-Dependency (Prototypes Module)

Một điểm sáng tạo khác trong Toolkit là ứng dụng prototypes/app.py:

[Hình ảnh giao diện: Giao diện Web Prototype Standalone chạy trên cổng 8000 với thanh cấu hình OpenRouter API Key và khung chat kiểm thử tài liệu trực quan]

8. Giá Trị Kỹ Thuật Đúc Kết (Key Takeaways)

  1. TLS Client Emulation hiệu quả gấp 10 lần Headless Browser: Việc sử dụng curl_cffi thay cho Puppeteer/Selenium giúp tiết kiệm 95% RAM/CPU, tốc độ tải nhanh gấp 5 lần và loại bỏ hoàn toàn nguy cơ rò rỉ bộ nhớ.
  2. Data Profiling là bước sống còn trước khi làm RAG: Đo lường phân phối độ dài văn bản giúp phát hiện kịp thời các tài liệu quá khổ, từ đó đưa ra chiến lược xử lý phù hợp (Context Budgeting vs. Pre-baked Cache) thay vì để hệ thống bị sập hay cắt cụt trên Production.
  3. Kiến trúc tách rời (Decoupled Toolkit): Tách riêng bộ công cụ dữ liệu khỏi Core Chatbot giúp việc thu thập, kiểm định và bảo trì dữ liệu trở nên độc lập, an toàn và dễ dàng tái sử dụng cho các dự án AI tri thức doanh nghiệp khác trong tương lai.

9. Tổng Quan Tech Stack Bộ Công Cụ

Thông Tin Dự Án & Mã Nguồn

Nếu giải pháp K12Online Knowledge Toolkit mang lại cho bạn những ý tưởng giá trị về Data Engineering cho hệ thống RAG, hãy ghé thăm kho mã nguồn trên GitHub để ủng hộ dự án một ngôi sao (star) nhé!

K12Online Knowledge Toolkit: Data Pipeline & RAG Profiler — Thieu Viet Hoang