Câu hỏi thiết kế hệ thống AI thường bắt đầu từ một kịch bản cụ thể, chẳng hạn như knowledge base doanh nghiệp, intelligent customer service, nền tảng Agent hoặc trợ lý voice theo thời gian thực. Khi vấn đề được mở rộng, interviewer sẽ tiếp tục hỏi cách đưa model invocation, context, retrieval, tool, security, cost và evaluation vào cùng một production pipeline.

Interface trả về 200, thời gian xử lý cũng bình thường, nhưng quy định hoàn tiền mà chatbot chăm sóc khách hàng đưa ra lại sai.

Mở dashboard giám sát, bạn chỉ thấy request này đã gọi model và tạo câu trả lời bình thường. Điều tra sâu hơn thì khó rồi: knowledge base không recall đúng tài liệu, Prompt bị ghép sai, model bỏ qua context, hay một tool nào đó trả về dữ liệu cũ? Log của interface thông thường không trả lời được những câu hỏi này.