Bỏ qua nội dung chính

Hệ thống kiến thức phát triển ứng dụng AI: LLM, Agent, RAG, MCP, Prompt Engineering và thiết kế hệ thống

GuideAIAILLMAI application developmentphỏng vấn backendKhoảng 3328 từKhoảng 11 phút
Knowledge Planet chính thức của JavaGuide

Xây dựng ứng dụng AI không phải chỉ nhét Prompt vào API là xong. Khi đi vào dự án thực tế, bạn sẽ lập tức gặp các vấn đề như độ dài context, structured output, RAG retrieval, quyền của tool, evaluation regression, cost và stability.

Những vấn đề này không thể giải quyết riêng lẻ. Cần hiểu liền mạch nền tảng LLM, Agent, RAG, tool calling và system design. Chỉ biết gọi API thì sẽ bị chặn ở bước architecture review; chỉ quen với các paper về RAG thì khi bảo trì knowledge base vẫn không biết xử lý incremental update và version deduplication.

Nếu thời gian có hạn, hãy đọc trước Hướng dẫn phỏng vấn phát triển ứng dụng AI để xem qua các vấn đề dễ bị hỏi sâu nhất trong LLM, Agent, RAG, Skills, MCP và AI system design; nếu chưa xác định được thứ tự học hoặc đang chuyển từ backend development sang phát triển ứng dụng AI, bạn có thể đọc trước Lộ trình học phát triển ứng dụng AI và Agent dành cho developer Java/Go (bản mới nhất 2026) và Gợi ý học chuyển hướng sang AI Agent dành cho backend developer (bản mới nhất 2026); nếu muốn học vững hơn, hãy tiếp tục theo thứ tự đọc bên dưới.

Nội dung chuyên đề được tổ chức theo nền tảng LLM, Agent, RAG và system design; các bài viết được liên kết với nhau qua thứ tự đọc và các liên kết liên quan:

Tổng quan nội dung AIGuide với nhiều hình minh họa

Nội dung chuyên mục này cũng được tổng hợp trong project mã nguồn mở AIGuide:

Bài viết sẽ được cập nhật liên tục theo thay đổi của API, framework và năng lực model. Khi đề cập đến version, price và product capability, hãy đồng thời đối chiếu tài liệu chính thức tương ứng.

Dành cho ai

  • Kỹ sư đang chuyển từ backend development sang phát triển ứng dụng AI và muốn bổ sung tuyến kiến thức chính về LLM, Agent, RAG và system design.
  • Người chuẩn bị phỏng vấn các vị trí AI engineer, AI application development hoặc backend chuyển sang AI.
  • Developer từng làm Prompt Demo nhưng chưa thật sự quen với model invocation flow, structured output, tối ưu RAG retrieval và evaluation loop.
  • Người muốn hiểu các khái niệm như MCP, Function Calling, Tool Calling, vector database và model gateway trong project thực tế.
  • Thành viên team đã tích hợp LLM vào project nhưng bắt đầu gặp các vấn đề về stability, cost, security governance và quality regression.

Một số điểm dễ mắc lỗi

Không nên chỉ xem LLM như một black-box API. Token bị truncate, output thay đổi thất thường khi sampling parameter thay đổi, hoặc kết quả vẫn sai format dù đã yêu cầu JSON, đều là những vấn đề khó giải quyết triệt để chỉ bằng Prompt. Thêm câu “hãy output đúng theo JSON” vào prompt chỉ là constraint ở tầng đầu tiên; khi đưa vào production, vẫn cần validation format, retry, fallback và exception handling trong invocation flow.

Agent cũng không phải chỉ cần tự động gọi tool là xong. Điều thực sự khó là Memory và Context Engineering. Nếu không quản lý context tốt, sau vài vòng chạy Agent rất dễ đi lệch chủ đề; những gì đã nói, task đang làm đến đâu và kết quả tool nào còn dùng được đều có thể bị rối. Điều này càng rõ trong task dài: đôi khi Agent không phải không làm được, mà là sau vài vòng lặp lại tự mắc kẹt và chạy mãi đến khi token gần cạn mới dừng.

RAG trả lời không đúng câu hỏi nhiều khi cũng không nên vội trách model. Phần lớn vấn đề nằm ở retrieval stage: Chunk quá thô, Query chưa được rewrite, keyword search và vector search chưa kết hợp, hoặc rerank chưa tốt. Khi đó, kiểm tra từng bước trong retrieval flow thường hữu ích hơn việc đổi ngay sang một model đắt hơn.

MCP, Function Calling và Tool Calling giải quyết vấn đề kết nối tool vào hệ thống. Sau khi protocol được thống nhất, việc kết nối tool quả thực thuận tiện hơn, nhưng trong production environment, vấn đề lại nằm ở phía sau: ai được gọi tool này, được thao tác trên những data nào, audit invocation record ra sao và rollback thế nào khi thất bại. Nếu không thiết kế tốt các phần này, protocol có standard đến đâu cũng chưa đủ.

Sau khi ứng dụng AI được đưa lên production, các vấn đề về stability, observability, cost control và quality regression sẽ lần lượt xuất hiện. Giai đoạn Demo thường chưa cảm nhận được vì invocation volume nhỏ và scenario cũng đơn giản. Khi thật sự tiếp nhận business traffic, team lần đầu xây dựng production-grade AI application gần như đều phải trả giá một lần cho những vấn đề này.

Thứ tự đọc đề xuất

  1. Tổng quan các khái niệm cốt lõi về AI: Trước hết đặt các khái niệm LLM, Token, Agent, RAG, MCP, Skills và ReAct vào cùng một flow.
  2. Hướng dẫn phỏng vấn phát triển ứng dụng AI: Xây dựng danh sách câu hỏi thường gặp và biết những điểm thường bị hỏi sâu nhất trong phỏng vấn và project review.
  3. Cơ chế hoạt động của LLM, Thực hành engineering khi gọi API của LLM: Hiểu invocation flow, context và structured response của model.
  4. Khái niệm cốt lõi về AI Agent, Prompt Engineering cho LLM, Context Engineering: Xây dựng nhận thức nền tảng về Agent, Prompt và Context.
  5. Thiết kế hệ thống cộng tác multi-Agent: Tiếp tục học cách phân tách task, chia sẻ state, xử lý conflict và recovery khi thất bại.
  6. Khái niệm nền tảng về RAG, Xử lý và chunk tài liệu RAG, Tối ưu RAG retrieval: Bổ sung tuyến kiến thức chính về hỏi đáp trên enterprise knowledge base.
  7. Thiết kế hệ thống ứng dụng AI, Thực chiến security cho LLM/Agent, Giải thích chi tiết LLM Gateway, Hệ thống evaluation cho ứng dụng AI: Đưa Demo vào backend system thực tế, bổ sung permission, security, gateway, evaluation và governance.

Bài viết cốt lõi

Lộ trình phỏng vấn và ôn tập

Nền tảng LLM

AI Agent

RAG (Retrieval-Augmented Generation)

Thiết kế hệ thống AI

Câu hỏi thường gặp

  • Token, context window, Temperature và Top P của LLM lần lượt ảnh hưởng đến điều gì?
  • Vì sao structured output không thể chỉ dựa vào Prompt? JSON Schema, Function Calling và server-side validation lần lượt giải quyết vấn đề gì?
  • Agent khác Workflow ở điểm nào? Observation, planning, action và reflection phối hợp với nhau như thế nào trong Agent Loop?
  • Prompt Engineering khác Context Engineering ở điểm nào?
  • MCP giải quyết vấn đề gì? Mối quan hệ giữa MCP với Function Calling và Tool Calling là gì?
  • Vì sao RAG trả lời không đúng câu hỏi? Nên kiểm tra từ retrieval, ranking, context compression hay generation stage?
  • Nên chọn vector database như thế nào? Các index như HNSW và IVFFLAT phù hợp với scenario nào?
  • Đánh giá ứng dụng AI như thế nào? Golden Set, LLM-as-Judge, production canary và Trace replay được liên kết với nhau ra sao?
  • Vì sao production-grade AI application cần model gateway? Làm thế nào để thực hiện rate limiting, fallback, cost control và audit?

Chuyên đề liên quan

Lời cuối

Nếu nội dung hữu ích với bạn, hãy tiện tay tặng JavaGuide một Star miễn phí để ủng hộ: GitHub | Gitee.

JavaGuide đã được duy trì gần bảy năm, tích lũy 6100+ commit, với sự chung tay hoàn thiện của 620+ contributor. Star, phản hồi và PR của bạn đều là động lực để dự án tiếp tục cập nhật.

Nếu bạn đang chuẩn bị phỏng vấn backend / phát triển ứng dụng AI, có thể tham khảo Knowledge Planet của tôi, bao gồm các project thực tế về backend và AI, tối ưu CV, hỏi đáp 1-1 và tài liệu về các trọng điểm thường gặp, đã được duy trì liên tục sáu năm.