Kỹ sư phần mềm về tình trạng thực tế của các đại diện AI chưa đạt mong đợt
Các đại diện AI không thể hoàn toàn tự chủ do hạn chế toán học và chi phí token tăng theo cấp số nhân.
Trong một bối cảnh đầy tham vọng xung quanh các đại diện AI, kỹ sư hệ thống Utkarsh Kanwat đã cung cấp một cái nhìn thực tế hơn và nhận định rằng vào năm 2025, việc các đại diện AI sẽ có khả năng tự chủ hoàn toàn trong công việc là điều khó đạt được. Những hạn chế toán học cơ bản làm cho quy trình tự động nhiều bước trở nên không khả thi với độ tin cậy cao mà hệ thống thực tế yêu cầu.
Kanwat giải thích rằng nếu mỗi bước trong một quy trình làm việc của đại diện có độ tin cậy 95%, một con số đã là lạc quan đối với các mô hình ngôn ngữ hiện tại, thì với 5 bước, tỉ lệ thành công chỉ còn 77%, 10 bước là 59% và 20 bước chỉ còn 36%. Ngay cả khi cải thiện độ tin cậy mỗi bước lên 99%, tỉ lệ thành công cho 20 bước vẫn chỉ đạt khoảng 82%. Ông khẳng định rằng, đây không phải là vấn đề về kỹ thuật thúc đẩy hay khả năng của mô hình, mà là thực tại toán học không thể thay đổi.
Để tránh lỗi tích lũy, được gọi là vấn đề lỗi ghép nối, Kanwat đề xuất phá quy trình làm việc thành 3 đến 5 bước rời rạc, có thể xác minh độc lập, mỗi bước có điểm re-roll và yêu cầu xác nhận của con người tại các điểm quan trọng. Thiết kế này nhấn mạnh bối cảnh bị giới hạn, các hoạt động nguyên tử và can thiệp của con người tùy chọn – điều này tạo nền tảng cho mọi hệ thống đại diện đáng tin cậy mà ông đã xây dựng.
Một rào cản khác là chi phí token tăng exponentially trong các đại diện hội thoại. Qua kinh nghiệm tạo mẫu với một đại diện cơ sở dữ liệu hội thoại, Kanwat cho thấy mỗi lần tương tác mới phải xử lý toàn bộ ngữ cảnh trước đó, dẫn đến chi phí token tăng theo cấp số nhân với độ dài cuộc trò chuyện.
Kanwat nhấn mạnh rằng đại diện thành công nhất trong thực tế không mang tính hội thoại mà là các công cụ thông minh, giới hạn, thực hiện tốt một nhiệm vụ và sau đó thoát ra. Ông cũng chỉ trích xu hướng của nhiều công ty thúc đẩy các giải pháp API đơn giản mà thường không thiết kế công cụ dành cho AI, dẫn đến các đại diện khó quản lý quy trình làm việc thực tế do thiếu cấu trúc và hiểu biết về ngữ cảnh.
Kanwat lưu ý rằng môi trường doanh nghiệp hiếm khi cung cấp API rõ ràng cho các đại diện AI. Những ràng buộc cũ, giới hạn tốc độ biến động và yêu cầu tuân thủ nghiêm ngặt đều tạo ra những trở ngại đáng kể. Ví dụ, trong tác nhân cơ sở dữ liệu của mình, ông tích hợp các tính năng kỹ thuật truyền thống như pooling kết nối, quay lại giao dịch, thời gian chờ câu hỏi và logging kiểm toán chi tiết – đây đều là những yếu tố nằm ngoài phạm vi nhiệm vụ của AI.
Kanwat dự đoán rằng các công ty khởi nghiệp mạo hiểm chạy theo đại diện hoàn toàn tự chủ sẽ gặp khó khăn do những hạn chế kinh tế và lỗi tích lũy. Trong khi đó, các doanh nghiệp cố gắng tích hợp AI với phần mềm thừa kế sẽ đụng phải những thách thức khó khăn do sự phức tạp trong việc tích hợp. Ông tin rằng các nhóm thành công nhất sẽ tập trung vào tạo công cụ chuyên biệt, định hướng theo miền mà áp dụng AI để xử lý các nhiệm vụ phức tạp nhưng vẫn giữ sự giám sát của con người hoặc giới hạn vận hành nghiêm ngặt. Kanwat cũng cảnh báo rằng nhiều công ty sẽ đối mặt với khó khăn lớn khi chuyển từ các trình diễn ấn tượng sang sản phẩm thực tế, sẵn sàng cho thị trường.
Nguồn: TechSpot, Utkarsh Kanwat