Apple đang trong quá trình đàm phán với PrismML, một công ty khởi nghiệp bí ẩn được tách ra từ Viện Công nghệ California (Caltech), nhằm giảm đáng kể sự phụ thuộc vào điện toán đám mây và chạy các mô hình AI nặng hoàn toàn trên thiết bị.
Các cuộc thảo luận này, được The Information đưa tin đầu tiên, diễn ra ngay sau một bước đột phá kỹ thuật lớn của startup này: PrismML đã nén thành công mô hình mã nguồn mở Qwen 3.6 với 27 tỷ tham số của Alibaba để chạy cục bộ trên iPhone luôn nha!
Thông thường, để nhét một mô hình có quy mô như vậy vào một chiếc điện thoại thông minh, cần sử dụng "kiến trúc thưa" — nghĩa là điện thoại chỉ kích hoạt một phần nhỏ "bộ não" AI tại bất kỳ thời điểm nào để tránh quá tải thiết bị. PrismML đã hoàn toàn đảo ngược cách tiếp cận này, nghe xịn xò phết đó!
Khả năng nén: Giảm dung lượng mô hình từ 54 GB khổng lồ xuống còn dưới 4 GB. Đúng là "gọt" đỉnh cao luôn!
Sức mạnh xử lý: Giữ toàn bộ 27 tỷ tham số hoạt động đồng thời mà không làm giảm hiệu suất đánh giá. Nghe mà choáng váng!
Công nghệ cốt lõi: Được xây dựng trên kiến trúc trọng số 1-bit và ternary siêu dày đặc (giảm dung lượng bộ nhớ lên đến 14 lần trong khi tốc độ xử lý nhanh hơn tới 8 lần). Nghe có vẻ hack não nhưng tóm lại là nhanh gọn nhẹ cực kỳ!
Nguồn: tinhte.vn