Theo SCMP, câu chuyện bắt đầu từ chương trình truyền hình thực tế Singer 2024 do Đài truyền hình Hồ Nam sản xuất và phát sóng cuối tuần trước ở Trung Quốc. Trong chương trình, thí sinh Sun Nan nhận được 13,8% lượt bình chọn trực tuyến, vượt qua thí sinh người Mỹ Chanté Moore với 13,11% phiếu bầu. Tuy nhiên, điều này đã gây ra một làn sóng chỉ trích trên mạng xã hội khi nhiều người cho rằng "11 phải lớn hơn 8", ý nói thí sinh Moore biểu diễn tốt hơn nhưng lại thua.
Sự việc trở nên thú vị hơn khi một số người dùng thử hỏi các mô hình AI phổ biến về vấn đề này và nhận được kết quả bất ngờ. Hai chatbot phổ biến tại Trung Quốc là Kimi của Moonshot AI và Baixiaoying của Baichuan đều trả lời sai rằng 9,11 lớn hơn 9,9. Điều này đã dẫn đến một loạt phàn nàn từ người dùng, buộc các nhà phát triển phải sửa thuật toán và đưa ra lời xin lỗi.
Nguyên nhân của sai sót này được giải thích là do phương pháp "chuỗi suy nghĩ" mà các AI sử dụng. Cụ thể, khi tách số sau dấu phẩy, AI so sánh 11 với 9 và kết luận rằng 11 lớn hơn, dẫn đến khẳng định sai lầm rằng 9,11 lớn hơn 9,9. Một số mô hình AI như Qwen LLM của Alibaba phải sử dụng Python Code Interpreter để tính toán câu trả lời, trong khi Ernie Bot của Baidu phải thực hiện một quá trình diễn giải phức tạp mới đưa ra đáp án đúng.
Trái ngược, một số AI khác lại trả lời chính xác khá nhanh. Doubao LLM của ByteDance đưa ra ví dụ dễ hiểu: "Nếu bạn có 9,90 đô la Mỹ và 9,11 đô la Mỹ, rõ ràng 9,90 nhiều hơn".
Tại Việt Nam, người dùng cũng thử nghiệm với các mô hình AI phổ biến và nhận được kết quả tương tự. ChatGPT chạy GPT-3.5 và GPT4-o đều phản hồi sai rằng 9,9 bé hơn. Các mô hình khác như Claude 3.5, Sonnet và Mistral AI cũng trả lời không chính xác, trong khi Gemini của Google đưa ra đáp án đúng.
Theo Wu Yiquan, nhà nghiên cứu khoa học máy tính tại Đại học Chiết Giang, việc AI không giỏi toán rất phổ biến do các mô hình ngôn ngữ lớn (LLM) không sở hữu khả năng toán học thực sự. Chúng dự đoán câu trả lời dựa trên dữ liệu đào tạo mà không hiểu sâu về toán học. "Một số LLM hoạt động tốt trong bài kiểm tra toán có thể là do 'nhiễm dữ liệu', nghĩa là thuật toán đã ghi nhớ câu trả lời vì các câu hỏi tương tự đã có trong dữ liệu đào tạo của nó", Yiquan giải thích.
Trước đó, trên mạng xã hội X, nhà nghiên cứu Bill Yuchen Lin của Allen Institute và kỹ sư Riley Goodside của Scale AI cũng đã nêu ra những thiếu sót cơ bản về toán học của LLM. Cả hai cho rằng người dùng không nên tin tưởng hoàn toàn vào các mô hình AI, bởi chúng nhiều lần bị phát hiện trả lời sai hoặc gặp tình trạng "ảo giác", tức là bịa ra câu trả lời sao cho nghe có vẻ thuyết phục nhất.