Các cải tiến trong mô hình AI 'lập luận' có thể chậm lại sớm, theo phân tích cho thấy

Được dẫn dắt bởi các phân tích từ Epoch AI, một viện nghiên cứu phi lợi nhuận chuyên về trí tuệ nhân tạo, tình hình hiện tại của ngành công nghệ AI đang đối mặt với khả năng các mô hình 'lập luận' có thể gặp phải trần giới hạn về tiến bộ. Theo báo cáo từ Epoch, mức độ hiệu suất của các mô hình này có thể chậm lại không lâu nữa, có khả năng xảy ra trong vòng một năm tới. Báo cáo nêu rõ những mô hình lập luận, điển hình như o3 của OpenAI, đã tạo ra những cải tiến vượt bậc trong các bài kiểm tra toán học và lập trình, một phần nhờ khả năng áp dụng nhiều tính toán hơn cho các vấn đề. Tuy nhiên, nhược điểm là các mô hình này mất thời gian lâu hơn để hoàn thành nhiệm vụ so với các mô hình thông thường.

Epoch AI lưu ý rằng việc phát triển các mô hình lập luận thường bắt đầu bằng việc đào tạo một mô hình thông thường với một lượng dữ liệu khổng lồ, sau đó áp dụng kỹ thuật học tăng cường, giúp mô hình nhận phản hồi về các giải pháp của mình đối với các vấn đề khó khăn. Giai đoạn học tăng cường này trước đây chưa được các phòng thí nghiệm AI tiên tiến, như OpenAI, áp dụng với sức mạnh tính toán cao quá mức. Nhưng theo Dan Roberts từ OpenAI, họ đã áp dụng sức mạnh tính toán cao gấp 10 lần để đào tạo o3 so với mô hình tiền nhiệm o1, và dự kiến sẽ dành nhiều sức mạnh cho học tăng cường hơn là quá trình đào tạo ban đầu.

Cùng với đó, Josh You, một nhà phân tích từ Epoch và tác giả của báo cáo, cho biết sự gia tăng hiệu suất từ ​​việc đào tạo mô hình AI thông thường hiện đang gấp bốn lần mỗi năm, trong khi tăng cường học áp dụng lại có mức tăng gấp mười lần mỗi 3-5 tháng. Ông cho rằng việc cải tiến mô hình lập luận có thể sẽ hòa hợp với thành tựu chung vào khoảng năm 2026. Điều này ngụ ý rằng mặc dù có những cải tiến nhanh chóng trong giai đoạn học tăng cường, sự tiến bộ tổng thể có thể không tiếp tục theo tốc độ hiện tại do những giới hạn về sức mạnh tính toán có thể áp dụng.

Báo cáo của Epoch không chỉ dựa trên giả định và ý kiến công khai từ các giám đốc điều hành công ty AI, mà còn chỉ ra rằng việc mở rộng quy mô các mô hình lập luận có thể đối mặt với thách thức không chỉ vì tính toán, mà còn bao gồm cả chi phí nghiên cứu cao. Nếu chi phí này duy trì ở mức cao, các mô hình lập luận có thể không đạt được tiềm năng như mong đợi. Điều này đặc biệt quan trọng bởi lập luận AI hiện nay không chỉ đòi hỏi sự gia tăng về mặt tính toán, mà còn cần được theo dõi chặt chẽ các chi phí liên quan.

Đứng trước khả năng này, ngành công nghiệp AI có thể đối mặt với lo lắng lớn, đặc biệt khi đã đầu tư nguồn lực lớn để phát triển các loại mô hình này. Các nghiên cứu thậm chí đã chỉ ra rằng mô hình lập luận, bị coi là rất tốn kém để vận hành, còn có nhiều hạn chế vệ sinh, như việc có xu hướng 'ảo giác' nhiều hơn so với một số mô hình thông thường. Điều này thể hiện một thách thức lớn đối với các tổ chức phát triển AI, buộc họ phải cân nhắc kỹ lưỡng trong chiến lược phát triển.

Nguồn: Epoch AI, TechCrunch, OpenAI