Nghiên cứu phát hiện rằng các Mô hình AI mã nguồn mở có thể tốn kém hơn về lâu dài

Nghiên cứu do Nous Research thực hiện đã nêu bật sự khác biệt về hiệu suất giữa các mô hình AI mã nguồn mở và đóng. Trong thí nghiệm của họ, các nhà nghiên cứu đã đánh giá hàng chục mô hình AI, bao gồm cả hệ thống đóng từ Google và OpenAI, cùng với mô hình mở từ DeepSeek và Magistral. Mục tiêu là đo lượng tài nguyên tính toán cần thiết để hoàn thành các tác vụ như giải quyết câu hỏi đơn giản, làm toán và bài đố logic. Kết quả cho thấy mô hình mở tiêu tốn từ 1.5 đến 4 lần số token so với mô hình đóng, với một số nhiệm vụ đơn giản tiêu thụ đến gấp 10 lần.

Token trong bối cảnh AI là đơn vị nhỏ của văn bản hoặc dữ liệu mà các mô hình sử dụng để hiểu ngôn ngữ. Điều này nghĩa là nhiều token hơn đồng nghĩa với việc cần nhiều sức mạnh và thời gian tính toán hơn. Các mô hình đóng chủ động tối ưu hóa để sử dụng ít token hơn nhằm giảm chi phí, trong khi mô hình mở dường như sử dụng nhiều token hơn để thực hiện việc suy luận, có thể là do nó đòi hỏi quá trình suy nghĩ phức tạp hơn.

Các nghiên cứu nhấn mạnh rằng mặc dù chi phí triển khai mô hình mở có vẻ thấp hơn, nhưng lợi thế này nhanh chóng biến mất nếu chúng tiêu thụ nhiều token cho một vấn đề nào đó. Hơn nữa, việc tăng số lượng token sẽ kéo dài thời gian sinh và tăng độ trễ, điều này có thể ảnh hưởng tiêu cực đến hiệu năng trong các ứng dụng thực tiễn. Trong số các mô hình được kiểm tra, OpenAI nổi bật với hiệu suất token vượt trội, đặc biệt là trên các vấn đề toán học.

Lợi ích của việc sử dụng ít token hơn rất rõ ràng trong cách các mô hình như OpenAI's gpt-oss có thể thiết lập tiêu chuẩn mới cho hiệu quả token. Điều này đặc biệt quan trọng khi tính đến khía cạnh kinh tế của việc sử dụng mô hình AI, nơi mà chi phí dựa trên tổng số token đầu ra sử dụng trong quá trình suy luận và đưa ra câu trả lời cuối cùng.

Nguồn: Gizmodo, Nous Research