Tại sao AI không thể đánh vần 'strawberry'
AI không thể đánh vần từ đơn giản vì dựa trên kiến trúc transformer không hiểu khái niệm chữ cái riêng lẻ.
LLM như GPT-4o và Claude không thể đếm đúng số 'r' trong từ 'strawberry', điều này cho thấy sự hạn chế của AI trong việc hiểu văn bản theo cách của con người. Kiến trúc transformer, nền tảng của LLM, không thực sự đọc văn bản mà chỉ mã hóa nó thành các đại diện số.
Điều này khiến AI có thể hiểu rằng các token như 'straw' và 'berry' tạo thành từ 'strawberry', nhưng lại không hiểu từ này được cấu thành bởi những chữ cái nào. Sheridan Feucht và Matthew Guzdial đã chỉ ra sự khó khăn của việc làm cho các mô hình AI hiểu biết sâu sắc về ngữ âm và ký tự.
OpenAI đang phát triển Strawberry, một sản phẩm AI mới để cải thiện khả năng suy luận và sản xuất dữ liệu tổng hợp chính xác hơn. Google DeepMind cũng giới thiệu AlphaProof và AlphaGeometry 2, các hệ thống AI dành cho lý luận toán học chính thức, đạt thành tích xuất sắc tại International Math Olympiad.