Mới đây, nghiên cứu của Apple đã chỉ ra rằng các mô hình ngôn ngữ lớn (LLM) phổ biến hiện nay không sở hữu khả năng suy luận như nhiều người lo ngại. Thay vì thực sự thông minh, các LLM từ những tên tuổi lớn như OpenAI, Google và Meta chỉ đơn thuần là những hệ thống "khớp mẫu tinh vi" mà không đạt được mức độ suy luận logic thực thụ.
Mặc dù các LLM như GPT-4 của OpenAI được ca ngợi có khả năng tương tác tự nhiên và lập luận, nhóm nghiên cứu của Apple đã phát hiện ra rằng chúng thực sự không thể hiện sự hiểu biết sâu sắc về nội dung mà chúng xử lý. Các mô hình này chỉ đơn giản là phản hồi dựa trên mẫu đã được học mà không có khả năng tư duy hay phân tích thực sự.
Theo báo cáo, GSM8K hiện là bài kiểm tra phổ biến nhất để đánh giá kỹ năng suy luận của LLM. Tuy nhiên, do sự phổ biến này, nó có thể "nhiễm" dữ liệu, dẫn đến tình huống mà các LLM biết trước đáp án nhờ vào việc huấn luyện từ những dữ liệu đó. Để khắc phục vấn đề này, nhóm nghiên cứu đã phát triển tiêu chuẩn mới mang tên GSM-Symbolic, điều chỉnh các biến số trong câu hỏi nhưng giữ nguyên bản chất vấn đề.
Thông qua thử nghiệm trên 20 mô hình LLM nổi bật như GPT-4, OpenAI o1, Google Gemma 2 và Meta Llama 3, Apple đã nhận thấy "sự mong manh đáng ngạc nhiên" trong hiệu suất của các mô hình này. Mỗi khi biến số trong bài toán được thay đổi, độ chính xác của mô hình giảm vài phần trăm. Dù OpenAI o1 Preview có kết quả tốt nhất, mức độ chính xác của nó vẫn giảm đến 17,5%, trong khi LLM Phi 3 của Microsoft chứng kiến mức giảm lên đến 65%.
Một ví dụ điển hình được nhóm nghiên cứu sử dụng để kiểm tra là bài toán về số quả kiwi. Các LLM đã xử lý thông tin bằng cách trừ đi số lượng quả kiwi nhỏ hơn mà không nhận ra rằng kích thước không liên quan đến phép toán cần giải quyết. Điều này cho thấy các mô hình đang chuyển đổi câu nói thành phép toán mà không thực sự hiểu rõ ý nghĩa của chúng.
Nghiên cứu của Apple đã chỉ ra rằng có một "điểm yếu nghiêm trọng" trong khả năng hiểu khái niệm toán học cũng như phân biệt thông tin liên quan trong việc giải quyết vấn đề của các LLM. Mặc dù các mô hình AI đã bắt đầu hình thành khả năng tự suy luận, nhưng mức độ đó vẫn ở mức thấp và thực tế có thể đang bị cường điệu hóa về nguy cơ mà AI gây ra.
Hiện tại, các công ty liên quan như OpenAI, Google và Meta chưa đưa ra phản hồi nào về kết quả nghiên cứu của Apple, nhưng những phát hiện này có thể dẫn đến những thay đổi trong cách các nhà phát triển đánh giá và cải thiện khả năng của các mô hình AI trong tương lai.