Sản phẩm Maia 100 của Microsoft hướng tới việc cung cấp cho khách hàng một giải pháp tăng tốc AI hiệu quả về chi phí

31/8/2024

Maia 100 của Microsoft là giải pháp tăng tốc AI tiết kiệm chi phí, sử dụng kiến trúc server và phần mềm tùy chỉnh, tích hợp SDK cho các nhà phát triển.

Sản phẩm Maia 100 của Microsoft hướng tới việc cung cấp cho khách hàng một giải pháp tăng tốc AI hiệu quả về chi phí

: Microsoft đã giới thiệu Maia 100, giải pháp tăng tốc AI tại hội nghị Hot Chips. Sản phẩm này sử dụng kiến trúc và phần mềm tùy chỉnh để tăng cường hiệu quả cho các khối lượng công việc AI. Maia 100 có bộ nhớ HBM2E 64GB, tích hợp SDK giúp các nhà phát triển nhanh chóng chuyển mô hình từ Pytorch và Triton. Microsoft cung cấp thông tin chi tiết thêm trên blog Inside Maia 100.

Microsoft đã công bố Maia 100, tăng tốc AI đầu tiên của công ty, tại hội nghị Hot Chips. Maia 100 sử dụng các board server, giá đỡ và phần mềm tùy chỉnh nhằm cung cấp các giải pháp và hiệu suất tốt hơn cho khối lượng công việc dựa trên AI, được thiết kế để chạy các mô hình của OpenAI trong môi trường trung tâm dữ liệu Azure.

Chip Maia 100 được xây dựng trên quy trình 5nm của TSMC, có các bộ phận 500w nhưng hỗ trợ tới TDP 700w. Nó chứa 64GB HBM2E, khá nhỏ hơn so với Nvidia H100 và B200. Hệ thống SoC của Maia 100 có một đơn vị tensor tốc độ cao và engine xử lý vector, hỗ trợ nhiều kiểu dữ liệu khác nhau bao gồm FP32 và BF16.

Maia 100 cũng cung cấp SDK cho các nhà phát triển, bao gồm các công cụ giúp lập trình viên nhanh chóng chuyển các mô hình từ Pytorch và Triton. SDK tích hợp framework, các công cụ phát triển, mô hình lập trình và dịch trình, hỗ trợ thêm giao thức mạng cơ bản và tối ưu hoá. Thông tin chi tiết về SDK và kiến trúc backend được công bố trên blog Inside Maia 100 của Microsoft.