Google Cloud nâng cấp hạ tầng AI với Trillium TPU và các máy ảo sử dụng Nvidia

Google Cloud đã công bố nâng cấp hạ tầng AI với việc phát hành Trillium, TPU thế hệ thứ sáu của hãng, hứa hẹn tăng tốc độ huấn luyện gấp bốn lần và tăng gấp ba lần hiệu suất xuyên suốt của suy rộng so với TPU v5e. Trillium có khả năng xử lý mạnh với dung lượng bộ nhớ lớn gấp đôi và băng thông ICI, tối ưu cho các mô hình ngôn ngữ lớn như Gemma 2 và Llama, và các mô hình suy rộng tính toán cao như Stable Diffusion XL.

Bên cạnh đó, Google Cloud lên kế hoạch giới thiệu máy ảo A3 Ultra, sử dụng GPU Tensor Core H200 của Nvidia, sẽ ra mắt vào tháng tới. Những máy ảo mới này tăng gấp đôi băng thông mạng GPU-to-GPU và dung lượng bộ nhớ, đồng thời sẽ cung cấp qua Dịch vụ Google Kubernetes Engine, đem lại hiệu suất lý tưởng cho các nhiệm vụ suy rộng mô hình ngôn ngữ lớn.

Hơn nữa, Google ra mắt hệ thống Hypercompute Cluster, một hệ thống cụm có khả năng mở rộng cao, giúp đơn giản hóa việc triển khai và quản lý hạ tầng AI quy mô lớn. Hệ thống này cho phép khách hàng tích hợp hàng nghìn bộ tăng tốc trong một đơn vị thống nhất, tối ưu hoá khung kết nối và tốc độ xử lý nhờ mạng dữ liệu Jupiter của Google, có sức chứa 13 petabit mỗi giây.