Con bot nói "đã xong" — và tôi tin nó. Đó là sai lầm đắt nhất tôi suýt mắc
Có một câu con bot của tôi nói với khách mỗi ngày: "Dạ em đã ghi nhận yêu cầu đặt hẹn của chị, nhân viên sẽ xác nhận lại ngay ạ."
Nghe trơn tru. Khách yên tâm. Tôi đọc log thấy bot gọi đúng công cụ create_booking, không một dòng đỏ. Mọi thứ "chạy".
Rồi một hôm tôi đi tìm: cái yêu cầu đặt hẹn đó nằm ở đâu? Và tôi lạnh người. Không ở đâu cả.
Bot nói thật lòng, nhưng phía sau là khoảng không
Sự thật trần trụi trong code lúc đó: khi bot "tạo yêu cầu đặt hẹn", nó chỉ nhét cái yêu cầu vào một danh sách sống trong bộ nhớ tạm của tiến trình. Tôi deploy bản mới — danh sách bốc hơi. Không ai được báo. Nhân viên không hề biết có khách muốn hẹn.
Hàm handoff_to_human — cái lẽ ra phải kéo một người thật vào cuộc khi khách cần — còn tệ hơn: nó ghi đúng một dòng nhật ký rồi trả về một câu chữ. Bot nói "em chuyển cho nhân viên hỗ trợ chị nhé", còn thực tế không có nhân viên nào được gọi. Cánh cửa đó mở ra một bức tường.
Điều làm tôi rùng mình không phải con bot dối. Nó không dối. Nó thành thật tin là nó đã làm xong — vì với một mô hình ngôn ngữ, nói ra hành động và thực hiện hành động là cùng một việc. Nó sinh ra câu "đã ghi nhận", gọi cái tool tên là create_booking, nhận về một thông báo "thành công", và với nó thế là xong. Nó không có cách nào biết rằng cái tool kia thực chất chẳng ghi gì vào đâu cả.
Niềm tin nguy hiểm nhất khi build với AI
Đây là chỗ tôi muốn người mới build dừng lại đọc kỹ.
Khi làm việc với AI, bạn sẽ liên tục bị cám dỗ tin vào lời khai của chính nó. Bot bảo "đã gọi tool" — bạn tin tool chạy. Bot bảo "đã lưu" — bạn tin có dữ liệu. Bot trả lời mượt mà, tự tin, đúng ngữ pháp, đúng giọng — nên não bạn tự động kết luận: hệ thống đang hoạt động.
Nhưng một câu trả lời hay không phải bằng chứng của một việc đã làm xong.
AI được huấn luyện để nghe có lý. Đó là việc nó giỏi nhất. Và chính cái giỏi đó là cái bẫy: nó che mất khoảng cách giữa "con bot nói nó đặt lịch" và "có một cái lịch thật được đặt". Với một con người, hai điều đó gần như luôn đi cùng nhau — ai nói "tôi đã gửi mail rồi" thì thường là đã gửi. Với AI, hai điều đó hoàn toàn tách rời. Nó có thể mô tả một hành động hoàn hảo trong khi phía sau không có gì xảy ra.
Người build giỏi không hỏi "bot trả lời có hay không". Họ hỏi: "sau câu nói đó, có dữ liệu thật nào thay đổi không?"
Cùng một sai lầm, ở quy mô tỷ đô
Cuối tháng rồi tôi đọc được một chuyện làm tôi giật mình vì nó đúng y bài học của mình.
Amazon từng có một bảng xếp hạng nội bộ chấm điểm lập trình viên theo lượng token AI họ tiêu thụ — gọi vui là Kirorank. Kết quả? Nhân viên bắt đầu dùng AI cho mọi việc tầm phào chỉ để leo bảng. Họ gọi đùa là "tokenmaxxing". Amazon phải khai tử cái bảng đó và chuyển sang đo số lần deploy hữu ích thật sự — chứ không phải lượng API gọi. Một sếp lớn nói thẳng: "Đừng dùng AI chỉ để được tiếng là có dùng AI."
Nhìn thấy chưa? Đó đúng là sai lầm của tôi, phóng to lên cỡ một tập đoàn. Đếm hoạt động của AI (gọi bao nhiêu tool, đốt bao nhiêu token, trả lời bao nhiêu câu) và nhầm nó với kết quả thật (một cái lịch được đặt, một con người được phục vụ, một lần deploy có ích).
AI làm cho "trông như đang làm việc" rẻ chưa từng có. Nó sinh hoạt động ào ạt, mượt mà, đáng tin về hình thức. Chính vì thế, kỷ luật đắt giá nhất của người build thời AI không phải là viết được nhiều, mà là luôn neo mọi thứ vào outcome thật, đếm được, sờ được.
Tôi sửa thế nào — và câu hỏi dán trên màn hình
Cách sửa con bot không phải làm nó thông minh hơn. Là làm cái tool phía sau thực sự làm việc nó hứa: create_booking ghi một bản ghi bền vào cơ sở dữ liệu rồi đẩy một thông báo cho nhân viên — và chỉ khi cả hai việc đó xong, bot mới được phép nói "đã ghi nhận". Còn handoff_to_human thì thật sự bật một cờ tạm dừng để bot lùi ra, và đẩy cuộc đó tới một người. Lời nói của bot phải được bảo chứng bằng một thay đổi thật trong dữ liệu — không thì cấm nó nói.
Và tôi dán lên màn hình một câu, hỏi nó cho mọi tính năng AI tôi build từ đó tới giờ:
"Nếu tôi xoá hết câu chữ bot vừa sinh ra, có còn dấu vết nào chứng minh việc này đã thật sự xảy ra không?"
Nếu câu trả lời là không — thì con bot của bạn đang diễn, chứ chưa làm việc. Và khách hàng thì không trả tiền cho một diễn viên.
👉 Muốn học cách build con bot AI đầu tiên mà phân biệt được giữa "bot nói đã xong" và "việc thật sự xong" — kỹ năng tách bạch lời nói khỏi hành động mà ít người dạy? Bắt đầu với mini-course miễn phí: Bot AI đầu tiên của bạn — làm xong trong một buổi tối, và bạn sẽ thôi tin lời con bot tự khai.