Mô hình AI tiết kiệm năng lượng có thể là một bước ngoặt, với hiệu suất cao hơn 50 lần mà không ảnh hưởng đến hiệu năng.

Mô hình AI mới từ Đại học California, Santa Cruz tiết kiệm năng lượng gấp 50 lần nhờ sử dụng mạng nơ-ron ternary và phần cứng tùy chỉnh FPGA.

: Các nhà nghiên cứu từ Đại học California, Santa Cruz đã phát triển một mô hình AI tiết kiệm năng lượng, tiêu thụ chỉ 13 watts thay vì 700 watts thường thấy. Mô hình này sử dụng mạng nơ-ron với ma trận ternary và phần cứng FPGA, cung cấp hiệu suất ngang ngửa với mô hình hàng đầu hiện nay. Mô hình mới còn có thể chạy trên GPU tiêu chuẩn và tiêu thụ ít hơn khoảng 10 lần bộ nhớ, mở ra khả năng cho các thiết bị di động.

Các nhà nghiên cứu từ Đại học California, Santa Cruz đã tạo ra một mô hình AI lớn với một tỷ tham số chỉ tiêu thụ 13 watts, tương đương một bóng đèn LED hiện đại. Để đạt được điều này, họ đã thay đổi cách hoạt động của mạng nơ-ron bằng cách sử dụng ma trận ternary, lấy cảm hứng từ một tài liệu của Microsoft, giúp giảm thiểu sự tiêu tốn phần cứng.

Nhóm nghiên cứu còn phát triển phần cứng tùy chỉnh sử dụng mạch FPGA có khả năng tùy chỉnh cao, tối ưu hóa các yếu tố tiết kiệm năng lượng của mạng nơ-ron. Kết quả là mô hình AI này có hiệu suất tiết kiệm năng lượng gấp 50 lần so với thiết lập thông thường mà vẫn duy trì hiệu suất tương đương với những mô hình hàng đầu như Meta's Llama.

Thêm vào đó, mô hình này có thể chạy trên GPU tiêu chuẩn và tiêu thụ ít hơn khoảng 10 lần bộ nhớ so với mạng nơ-ron dựa trên phép nhân ma trận. Điều này mở ra cơ hội để triển khai mạng nơ-ron hoàn chỉnh trên các thiết bị di động như smartphone, đồng thời mở ra một bước tiến lớn cho AI khi có thể tiết kiệm đáng kể năng lượng ở quy mô toàn bộ trung tâm dữ liệu.