Khả năng phân tích dữ liệu của Gemini không tốt như Google tuyên bố.
Gemini 1.5 Pro và 1.5 Flash của Google gặp khó khăn trong phân tích và tìm hiểu dữ liệu lớn, chỉ đúng khoảng 40%-50% trong các bài kiểm tra.
Các nghiên cứu mới đã kiểm tra khả năng phân tích và hiểu dữ liệu của các mô hình Gemini 1.5 Pro và Flash của Google. Kết quả cho thấy các mô hình này khó có thể đưa ra câu trả lời đúng với tỷ lệ chỉ khoảng 40%-50% trong các bài kiểm tra liên quan đến sách và video.
Marzena Karpinska và các nhà nghiên cứu từ Allen Institute for AI và Princeton đã yêu cầu Gemini 1.5 Pro và Flash đánh giá các tuyên bố đúng/sai về các sách hư cấu. Kết quả kiểm tra cho thấy tỷ lệ trả lời đúng của Gemini 1.5 Pro là 46.7% và Flash là 20%.
Hai nghiên cứu đề xuất cần có các thước đo chuẩn để kiểm chứng khả năng của các mô hình AI. Điều này sẽ giúp tránh các tuyên bố quá hời hợt và cung cấp thông tin đáng tin cậy hơn cho người sử dụng công nghệ AI.