Các chip mới nhất của Nvidia đã đạt được tiến bộ trong việc đào tạo các hệ thống trí tuệ nhân tạo lớn, dữ liệu mới được công bố vào thứ Tư cho thấy, với số lượng chip cần thiết để đào tạo các mô hình ngôn ngữ lớn giảm đáng kể.
MLCommons, một nhóm phi lợi nhuận công bố kết quả hiệu suất chuẩn cho các hệ thống AI, đã công bố dữ liệu mới về chip từ Nvidia và Advanced Micro Devices cùng những công ty khác, để đào tạo, trong đó các hệ thống AI được cung cấp một lượng lớn dữ liệu để học hỏi. Trong khi phần lớn sự chú ý của thị trường chứng khoán đã chuyển sang thị trường lớn hơn cho suy luận AI, trong đó các hệ thống AI xử lý các câu hỏi từ người dùng, thì số lượng chip cần thiết để đào tạo các hệ thống vẫn là mối quan tâm cạnh tranh chính. DeepSeek của Trung Quốc tuyên bố tạo ra một chatbot cạnh tranh bằng cách sử dụng ít chip hơn nhiều so với các đối thủ của Hoa Kỳ.
Kết quả là kết quả đầu tiên mà MLCommons công bố về hiệu suất của chip trong việc đào tạo các hệ thống AI như Llama 3.1 405B, một mô hình AI nguồn mở do Meta Platforms phát hành, có đủ số lượng "tham số" để chỉ ra cách chip sẽ hoạt động trong một số tác vụ đào tạo phức tạp nhất trên thế giới, có thể liên quan đến hàng nghìn tỷ tham số.
Nvidia và các đối tác của công ty là những đơn vị duy nhất nộp dữ liệu về việc đào tạo mô hình lớn đó và dữ liệu cho thấy chip Blackwell mới của Nvidia, tính theo từng chip, nhanh hơn gấp đôi so với thế hệ chip Hopper trước đó.
Trong kết quả nhanh nhất cho chip mới của Nvidia, 2.496 chip Blackwell đã hoàn thành bài kiểm tra đào tạo trong 27 phút. Theo dữ liệu, phải mất gấp ba lần thời gian so với nhiều chip thế hệ trước của Nvidia để có được thời gian nhanh hơn.
Trong một cuộc họp báo, Chetan Kapoor, giám đốc sản phẩm của CoreWeave, đơn vị đã hợp tác với Nvidia để tạo ra một số kết quả, cho biết ngành công nghiệp AI đang có xu hướng kết nối các nhóm chip nhỏ hơn thành các hệ thống con để thực hiện các tác vụ đào tạo AI riêng biệt, thay vì tạo ra các nhóm đồng nhất gồm 100.000 chip trở lên.
"Sử dụng phương pháp như vậy, họ có thể tiếp tục tăng tốc hoặc giảm thời gian đào tạo một số mô hình tham số điên rồ, lên tới hàng nghìn tỷ này", Kapoor cho biết.