OpenAI đã sử dụng subreddit này để thử nghiệm khả năng thuyết phục của AI

OpenAI thử nghiệm thuyết phục AI trên r/ChangeMyView với model o3-mini.

: OpenAI đã sử dụng subreddit r/ChangeMyView để thử nghiệm và đánh giá khả năng thuyết phục của các mô hình AI như o3-mini. Dù o3-mini không vượt xa mô hình trước đó, các mô hình hiện tại vẫn nằm trong top 80-90% về khả năng thuyết phục so với con người. Mục tiêu của OpenAI là đảm bảo AI không trở nên quá thuyết phục. Việc thu thập dữ liệu đào tạo chất lượng cao vẫn là một thách thức lớn cho các nhà phát triển mô hình AI.

OpenAI đã chọn subreddit r/ChangeMyView với hàng triệu thành viên, nơi mọi người đăng ý kiến của mình và đón nhận các quan điểm phản biện, để thử nghiệm khả năng thuyết phục của các mô hình AI. Công ty thu thập các bài đăng của người dùng và yêu cầu AI tạo ra các phản hồi nhằm thay đổi ý kiến ban đầu, sau đó so sánh với phản hồi của con người.

Các mô hình như GPT-4o, o3-mini, và o1 đều cho thấy khả năng thuyết phục nằm trong top 80-90% so với con người, mặc dù không có sự vượt trội rõ rệt. Mục tiêu không phải tạo ra AI cực kỳ thuyết phục, mà để đảm bảo AI không trở nên quá thuyết phục, trong bối cảnh mô hình suy luận đã rất giỏi trong việc thuyết phục và thậm chí có thể đánh lừa.

Vấn đề lớn vẫn là khó khăn trong việc tìm kiếm và thu thập dữ liệu chất lượng cao để thử nghiệm và phát triển các mô hình. Dù có các thỏa thuận cấp phép nội dung như với Reddit, cách thức mà các công ty công nghệ thu thập dữ liệu vẫn còn nhiều tranh cãi. Reddit cũng đã từng gọi đích danh các công ty AI không thỏa thuận cấp phép như Microsoft, Anthropic và Perplexity về việc này.