Chúng ta cuối cùng cũng bắt đầu hiểu cách mà các LLM hoạt động: không, chúng không đơn giản chỉ dự đoán từ sau từ

Các mô hình ngôn ngữ lớn (LLMs) như Claude 3.5 Haiku của Anthropic đang là chủ đề của nhiều nghiên cứu. Anthropic đã phát triển phương pháp 'circuit tracing', giúp theo dõi cách một mô hình AI xây dựng câu trả lời qua từng bước. Phương pháp này không chỉ giúp thấy rõ hơn cách trí tuệ nhân tạo xử lý thông tin mà còn hé lộ những cách thức độc đáo không ngờ mà mô hình sử dụng khi trả lời câu hỏi.

Trong thử nghiệm, Claude đã được yêu cầu trả lời câu hỏi 'Ngược lại của nhỏ là gì?' bằng nhiều ngôn ngữ khác nhau. Thay vì sử dụng từng phần riêng biệt cho từng ngôn ngữ, Claude liên kết với các mạch trung tính để tìm câu trả lời chung và sau đó chuyển đổi sang ngôn ngữ yêu cầu. Tương tự, khi thực hiện phép toán đơn giản, Claude sử dụng cách tiếp cận khá kỳ lạ và tiếp cận từ các thuật toán trừu tượng để đưa ra kết quả chính xác.

Một trong những phát hiện đáng chú ý nhất là khả năng của Claude trong việc sáng tác thơ. Khi được yêu cầu viết câu thơ, Claude đã có thể dự đoán từ kết thúc cho phần tiếp theo từ sớm, cho thấy khả năng dự đoán và chuẩn bị cao của mô hình. Điều này phản ánh sự khác biệt với nhận định thông thường rằng các LLMs chỉ đơn giản dự đoán từ tiếp theo mà không có kế hoạch dài hạn.

Joshua Batson, một nhà khoa học nghiên cứu tại Anthropic, thừa nhận rằng phương pháp này mới chỉ là phần bề nổi của tảng băng chìm và vẫn còn nhiều điều chưa được khám phá hết. Công việc vẫn rất phức tạp và cần nhiều thời gian để truy vết đầy đủ các cách thức mà một câu trả lời được hình thành.

'Sự khởi đầu của việc hiểu rõ hơn về cách thức LLMs hoạt động' không chỉ mở ra cơ hội nâng cấp, tối ưu hóa các mô hình hiện có mà còn có tiềm năng áp dụng lớn trong nhiều lĩnh vực khác. Sự tiến bộ trong việc hiểu và mô phỏng tư duy của trí tuệ nhân tạo có thể thay đổi hoàn toàn cách chúng ta tiếp cận với công nghệ AI.

Nguồn: TechSpot, MIT