Dù chip AI mới này chỉ lo phần suy luận, tức trả lời câu hỏi của người dùng thôi, nhưng nó sẽ giúp OpenAI tiết kiệm tiền vận hành cực khủng trong thời gian tới đấy!
Từ khi ChatGPT làm bùng nổ cơn sốt AI cuối 2022, OpenAI đã trở thành một trong những khách hàng mua chip GPU NVIDIA nhiều nhất thế giới luôn. Từng đơn hàng GPU H100 rồi H200 là "món ăn tinh thần" để OpenAI duy trì và mở rộng dịch vụ khi nhu cầu tính toán tăng chóng mặt. Nhưng thứ Tư vừa rồi, OpenAI đã ra dấu hiệu: giai đoạn đó sắp hết rồi nha!
Hợp tác với Broadcom, OpenAI chính thức giới thiệu Jalapeño - chip AI custom đầu tiên mang tên thương hiệu nhà mình. Đây là loại mạch tích hợp chuyên dụng (ASIC), tức được thiết kế cho một nhiệm vụ cụ thể chứ không đa năng như GPU NVIDIA đâu.
Jalapeño được build hoàn toàn cho inference (suy luận) - tức quá trình đưa ra câu trả lời từ mô hình AI đến user trên ChatGPT và các app khác. Mẫu chip vật lý đầu tiên được giao tận tay OpenAI ngay trong ngày công bố luôn á!
Điểm gây sốc nhất không phải tên chip hay thông số kỹ thuật, mà là thời gian hoàn thành nha mọi người! Chủ tịch OpenAI Greg Brockman cho biết Jalapeño được thiết kế từ đầu đến cuối trong vòng 9 tháng, trong khi chu kỳ thiết kế chip hiệu suất cao thông thường phải mất từ 2-3 năm cơ. Bí kíp ở đây là gì? OpenAI dùng chính các mô hình AI của mình để hỗ trợ phần lớn công việc thiết kế đó!
Ông Brockman thừa nhận thẳng: "Mức độ mà các mô hình của chúng tôi có thể tăng tốc quá trình này khiến chính chúng tôi cũng rất ngạc nhiên." Đây chính là ví dụ thực tế đầu tiên ở quy mô thương mại của vòng lặp AI dùng AI để cải thiện phần cứng chạy AI đó nha - nghe meta vãi!
Nhiều người có thể hỏi tại sao OpenAI chọn chip suy luận cho AI thay vì chip huấn luyện AI. Câu trả lời nằm ở chuyện tiền bạc thực tế đây. Training (huấn luyện) là chi phí một lần, xong việc là xong. Còn inference là chi phí liên tục, phát sinh mỗi khi một trong hàng trăm triệu người dùng gõ câu hỏi vào ChatGPT hay bất kỳ app nào của OpenAI.
Giảm 30-50% chi phí inference nhân lên trên quy mô đó thì tạo ra khoản tiết kiệm khổng lồ mỗi ngày luôn! Đây là lựa chọn kinh doanh thực dụng nhất trước khi chuyển sang làm chip training phức tạp hơn.
Về mặt kỹ thuật, Jalapeño được thiết kế để giảm thiểu di chuyển dữ liệu bên trong hệ thống, cân bằng tốt hơn giữa tính toán, bộ nhớ và băng thông mạng, từ đó đạt hiệu suất thực tế gần hơn với đỉnh lý thuyết của chip.
CEO Broadcom Hock Tan cho biết sẽ có nguyên mẫu nhỏ vào cuối 2026, tăng tốc triển khai trong 2027 và chạy full công suất trong nửa đầu 2028. Mục tiêu dài hạn là xây đủ năng lực tính toán cần đến 10 gigawatt điện - một con số cho thấy quy mô tham vọng của dự án đây mọi người ơi!
Nhìn bức tranh chiến lược lớn hơn thì OpenAI đang từng bước giảm sự phụ thuộc vào NVIDIA. Mấy tháng gần đây, hãng đã ký thỏa thuận với Amazon Web Services để dùng chip Trainium, ký hợp đồng với AMD và Cerebras, và giờ tự thiết kế chip riêng cùng Broadcom.
Nguồn: soha.vn
Từ khi ChatGPT làm bùng nổ cơn sốt AI cuối 2022, OpenAI đã trở thành một trong những khách hàng mua chip GPU NVIDIA nhiều nhất thế giới luôn. Từng đơn hàng GPU H100 rồi H200 là "món ăn tinh thần" để OpenAI duy trì và mở rộng dịch vụ khi nhu cầu tính toán tăng chóng mặt. Nhưng thứ Tư vừa rồi, OpenAI đã ra dấu hiệu: giai đoạn đó sắp hết rồi nha!
Hợp tác với Broadcom, OpenAI chính thức giới thiệu Jalapeño - chip AI custom đầu tiên mang tên thương hiệu nhà mình. Đây là loại mạch tích hợp chuyên dụng (ASIC), tức được thiết kế cho một nhiệm vụ cụ thể chứ không đa năng như GPU NVIDIA đâu.
Jalapeño được build hoàn toàn cho inference (suy luận) - tức quá trình đưa ra câu trả lời từ mô hình AI đến user trên ChatGPT và các app khác. Mẫu chip vật lý đầu tiên được giao tận tay OpenAI ngay trong ngày công bố luôn á!
Điểm gây sốc nhất không phải tên chip hay thông số kỹ thuật, mà là thời gian hoàn thành nha mọi người! Chủ tịch OpenAI Greg Brockman cho biết Jalapeño được thiết kế từ đầu đến cuối trong vòng 9 tháng, trong khi chu kỳ thiết kế chip hiệu suất cao thông thường phải mất từ 2-3 năm cơ. Bí kíp ở đây là gì? OpenAI dùng chính các mô hình AI của mình để hỗ trợ phần lớn công việc thiết kế đó!
Ông Brockman thừa nhận thẳng: "Mức độ mà các mô hình của chúng tôi có thể tăng tốc quá trình này khiến chính chúng tôi cũng rất ngạc nhiên." Đây chính là ví dụ thực tế đầu tiên ở quy mô thương mại của vòng lặp AI dùng AI để cải thiện phần cứng chạy AI đó nha - nghe meta vãi!
Nhiều người có thể hỏi tại sao OpenAI chọn chip suy luận cho AI thay vì chip huấn luyện AI. Câu trả lời nằm ở chuyện tiền bạc thực tế đây. Training (huấn luyện) là chi phí một lần, xong việc là xong. Còn inference là chi phí liên tục, phát sinh mỗi khi một trong hàng trăm triệu người dùng gõ câu hỏi vào ChatGPT hay bất kỳ app nào của OpenAI.
Giảm 30-50% chi phí inference nhân lên trên quy mô đó thì tạo ra khoản tiết kiệm khổng lồ mỗi ngày luôn! Đây là lựa chọn kinh doanh thực dụng nhất trước khi chuyển sang làm chip training phức tạp hơn.
Về mặt kỹ thuật, Jalapeño được thiết kế để giảm thiểu di chuyển dữ liệu bên trong hệ thống, cân bằng tốt hơn giữa tính toán, bộ nhớ và băng thông mạng, từ đó đạt hiệu suất thực tế gần hơn với đỉnh lý thuyết của chip.
CEO Broadcom Hock Tan cho biết sẽ có nguyên mẫu nhỏ vào cuối 2026, tăng tốc triển khai trong 2027 và chạy full công suất trong nửa đầu 2028. Mục tiêu dài hạn là xây đủ năng lực tính toán cần đến 10 gigawatt điện - một con số cho thấy quy mô tham vọng của dự án đây mọi người ơi!
Nhìn bức tranh chiến lược lớn hơn thì OpenAI đang từng bước giảm sự phụ thuộc vào NVIDIA. Mấy tháng gần đây, hãng đã ký thỏa thuận với Amazon Web Services để dùng chip Trainium, ký hợp đồng với AMD và Cerebras, và giờ tự thiết kế chip riêng cùng Broadcom.
Nguồn: soha.vn