Nghiên cứu của Microsoft cho thấy các công cụ viết mã bằng AI chưa đạt hiệu quả ở các nhiệm vụ gỡ lỗi quan trọng

: Công cụ viết mã bằng AI của Microsoft hiện nay không thể thay thế lập trình viên, khi còn gặp khó khăn trong các nhiệm vụ gỡ lỗi quan trọng. Nghiên cứu của Microsoft nhận định, các công cụ này giúp tăng năng suất bằng cách gợi ý các ví dụ, nhưng không thể chủ động tìm kiếm thông tin mới hoặc tương tác với việc thực thi mã. Microsoft đã phát triển môi trường debug-gym để thử nghiệm khả năng gỡ lỗi của AI, mặc dù có triển vọng, nhưng khả năng gỡ lỗi của AI vẫn hạn chế. Họ đã chỉ ra rằng việc thiếu dữ liệu đặc trưng cho hành vi ra quyết định trong quá trình gỡ lỗi là một trong những thách thức chính.

Nghiên cứu từ Microsoft cho biết, mặc dù các công cụ viết mã bằng trí tuệ nhân tạo đã có thể thúc đẩy năng suất bằng cách đưa ra các gợi ý ví dụ, chúng không thể thay thế được các lập trình viên con người do còn thiếu khả năng xử lý các nhiệm vụ gỡ lỗi quan trọng. Những công cụ này hiện không thể chủ động tìm kiếm thông tin mới hoặc tương tác với việc thực thi mã, điều mà các lập trình viên thường thực hiện khi gặp sự cố.

Microsoft đã giới thiệu một môi trường mới gọi là debug-gym để khám phá và giải quyết những thử thách này. Nền tảng này cho phép các mô hình AI gỡ lỗi các mã thực tế sử dụng các công cụ tương tự như của các lập trình viên. Mặc dù các kết quả thử nghiệm cho thấy có tiềm năng, khả năng gỡ lỗi của AI vẫn bị hạn chế, với các tác nhân dựa trên gợi ý hiếm khi giải quyết được hơn một nửa số nhiệm vụ trong các bài kiểm tra.

Nghiên cứu của Microsoft xác định có hai vấn đề chính góp phần vào sự hạn chế này. Trước hết, dữ liệu huấn luyện hiện tại của các mô hình ngôn ngữ không có đủ ví dụ về hành vi quyết định điển hình trong các phiên gỡ lỗi thực sự. Thứ hai, các mô hình này chưa hoàn toàn có khả năng khai thác triệt để các công cụ gỡ lỗi.

Các nhà nghiên cứu của Microsoft tin rằng, với các phương pháp huấn luyện tập trung đúng hướng, các mô hình ngôn ngữ có thể trở thành các công cụ gỡ lỗi giỏi hơn nhiều. Họ đề xuất tạo ra dữ liệu huấn luyện chuyên biệt tập trung vào quá trình gỡ lỗi và các quỹ đạo của nó, chẳng hạn như phát triển mô hình "info-seeking" tập hợp ngữ cảnh gỡ lỗi và truyền đạt lại cho mô hình sinh mã lớn hơn.

Các phát hiện rộng hơn cho thấy, dù trí tuệ nhân tạo đôi khi có thể tạo ra các ứng dụng dường như hoạt động bình thường cho các nhiệm vụ cụ thể, mã kết quả thường chứa lỗi và các lỗ hổng bảo mật. Cho đến khi trí tuệ nhân tạo có thể xử lý được chức năng cốt lõi này của phát triển phần mềm, nó sẽ vẫn là trợ lý - không phải là sự thay thế.

Sources: TechSpot, Microsoft, GitHub