Micron vừa bắt đầu ship mẫu cho khách hàng module LPDRAM SOCAMM2 dung lượng khủng 256GB nè các bạn ơi! Hãng tự hào khoe đây là module LPDRAM có dung lượng cao nhất hiện nay dành cho data center, target thẳng vào các hệ thống AI và HPC - những thứ cần RAM nhiều nhưng lại phải tiết kiệm điện cực kỳ.
Micron cho biết họ dùng thiết kế module LPDDR5X 32 Gb dạng monolithic, mở đường cho các config bộ nhớ low power nhưng dung lượng vẫn khủng long, phục vụ các server mới trong thời đại AI training, inference, agentic AI và các task tính toán nói chung đang làm nhu cầu RAM tăng vọt lên không phanh được
Theo Micron thì các mô hình AI hiện đại giờ càng ngày càng đòi hỏi context window lớn, tham số mô hình nặng hơn và đặc biệt là KV cache, khiến dung lượng, hiệu quả băng thông, độ trễ và hiệu quả điện năng trở thành nút thắt cổ chai trực tiếp quyết định hiệu năng, khả năng scale cũng như tổng chi phí sở hữu (TCO) của cả hệ thống luôn.
Nói về lợi ích ở cấp hệ thống, Micron cho biết 1 thanh SOCAMM2 256GB mang lại dung lượng cao hơn tận 33% so với thế hệ 192GB trước đó và có thể đạt tổng 2TB LPDRAM trên một CPU 8 kênh - đủ để xử lý các bài toán inference ngữ cảnh dài và suy luận phức tạp cực mạnh
Bên cạnh đó, hãng nhấn mạnh module này chỉ ăn khoảng 1/3 điện năng và chỉ chiếm 1/3 diện tích so với RDIMM truyền thống, giúp cải thiện mật độ lắp đặt trong rack và tối ưu TCO cho data center - tiết kiệm tiền đây rồi các bác ạ!
Về khía cạnh triển khai, Micron nhấn mạnh SOCAMM2 là thiết kế dạng module để tăng khả năng bảo trì, support kiến trúc server làm mát bằng chất lỏng (liquid cooling xịn xò) và tạo chỗ để nâng cấp dung lượng trong tương lai khi nhu cầu RAM cho AI và core compute tiếp tục tăng chóng mặt.
Đồng thời, Micron đang phối hợp với NVIDIA để đồng thiết kế bộ nhớ phục vụ hạ tầng AI tiên tiến, và phía NVIDIA cũng khẳng định việc tăng dung lượng và băng thông với mức điện năng thấp hơn so với RAM server truyền thống là yếu tố then chốt để thúc đẩy thế hệ CPU AI tiếp theo đây nha!
Micron nói họ đang chờ JEDEC chuẩn hóa cho SOCAMM2 và hiện đã bắt đầu giao các lô đầu tiên của SOCAMM2 256GB rồi, đồng thời quảng bá danh mục LPDRAM cho data center trải dài từ 8–64GB đến module SOCAMM2 48–256GB.
Nguồn: tinhte.vn