Trước giờ AI "xịn xò" toàn là của mấy trung tâm dữ liệu khổng lồ với đống GPU ngốn điện ghê gớm. Nhưng giờ thì khác rồi nha! Startup Tiiny AI vừa làm màn "flex" cực mạnh: biến con PC 14 năm tuổi thành cỗ máy ChatGPT chạy offline hoàn toàn, không cần net luôn á!
Nghe hơi ảo nhưng mà thật 100% đó. Tiiny AI đã quay clip demo trong một cú máy duy nhất, không cắt ghép gì hết, cho thấy mô hình GPT-OSS 120B của OpenAI chạy ngon lành trên Pocket Lab - một siêu máy tính cá nhân siêu mini của họ. Điểm đỉnh là Pocket Lab không thay thế con PC cũ, mà làm "bộ não AI" gắn ngoài, giúp phần cứng "già nua" làm được những việc tưởng chừng bất khả thi!
Pocket Lab này mục tiêu đem AI cấp đám mây đến với mọi người, không cần mạng xịn hay phải lên đời GPU đắt cắt cổ nữa. Ra mắt từ ngày 10 tháng 12, em này đã được công nhận là miniPC nhỏ nhất đời có thể chạy mô hình ngôn ngữ lớn trên 100 tỷ tham số ở chế độ local luôn đó nha!
Trong thí nghiệm, team research dùng con PC từ năm 2011, Intel Core i3-530, 2GB RAM DDR3 và màn hình CRT (cái màn hình "bụng phệ" ngày xưa ấy ). Cấu hình này giờ chỉ fit làm việc văn phòng cơ bản thôi. Nhưng mà sau khi cắm Pocket Lab vào, hệ thống chạy ChatGPT thành công với tốc độ trung bình khoảng 20 token mỗi giây luôn!
Buổi demo tập trung vào các bài toán suy luận và phân tích. Mô hình trả lời câu hỏi "Bạn là ai?" rồi đến câu "Vì sao 1+1=2", giải thích chi tiết và mượt mà. Riêng câu trả lời thứ hai xài tới 1.582 token, đạt tốc độ 18,6 token mỗi giây - con số "respect" đấy, nhất là khi toàn bộ diễn ra hoàn toàn offline nha!
Ông Samar Bhoj, Giám đốc GTM của Tiiny AI, nói màn trình diễn này đã phá vỡ định kiến lâu nay của ngành công nghiệp AI rồi. Theo ông, việc chạy mô hình lớn không còn cần đống GPU khổng lồ hay hạ tầng đám mây phức tạp nữa. Với Pocket Lab, AI xịn xò có thể hoạt động riêng tư, offline và ngay trên những phần cứng bình dân, kể cả máy tính 14 tuổi!
Bí quyết nằm ở hai công nghệ độc quyền là TurboSparse và PowerInfer. TurboSparse giúp tăng hiệu quả tính toán bằng cách chỉ kích hoạt các nơ-ron cần thiết, thay vì toàn bộ mô hình, mà vẫn giữ nguyên sức mạnh suy luận. Còn PowerInfer phân chia khối lượng công việc giữa CPU và NPU, tối ưu hiệu năng và giảm mức ngốn điện so với hệ thống AI truyền thống dùng GPU.
Về phần cứng, Pocket Lab có CPU ARMv9.2 12 nhân, 80GB bộ nhớ LPDDR5X và ổ SSD 1TB, tất cả nằm gọn trong thiết bị nặng khoảng 300 gram thôi. Nhỏ gọn mà "máu lửa", đủ chạy nhiều mô hình mã nguồn mở như Llama, Qwen, DeepSeek, Mistral, Phi và GPT-OSS nha!
Tiiny AI định vị Pocket Lab là nền tảng AI cá nhân, phục vụ content creator, dev, researcher, sinh viên và các chuyên gia cần xử lý dữ liệu nhạy cảm. Thiết bị hỗ trợ suy luận nhiều bước, hiểu ngữ cảnh sâu, vận hành các quy trình AI agent và tạo nội dung mà không cần mạng.
Điểm cộng nữa là bảo mật xịn sò! Dữ liệu người dùng, tài liệu và sở thích đều được lưu local với mã hóa chuẩn ngân hàng, riêng tư hơn hẳn so với các hệ thống AI trên cloud.
Nguồn: genk.vn
Nghe hơi ảo nhưng mà thật 100% đó. Tiiny AI đã quay clip demo trong một cú máy duy nhất, không cắt ghép gì hết, cho thấy mô hình GPT-OSS 120B của OpenAI chạy ngon lành trên Pocket Lab - một siêu máy tính cá nhân siêu mini của họ. Điểm đỉnh là Pocket Lab không thay thế con PC cũ, mà làm "bộ não AI" gắn ngoài, giúp phần cứng "già nua" làm được những việc tưởng chừng bất khả thi!
Pocket Lab này mục tiêu đem AI cấp đám mây đến với mọi người, không cần mạng xịn hay phải lên đời GPU đắt cắt cổ nữa. Ra mắt từ ngày 10 tháng 12, em này đã được công nhận là miniPC nhỏ nhất đời có thể chạy mô hình ngôn ngữ lớn trên 100 tỷ tham số ở chế độ local luôn đó nha!
Trong thí nghiệm, team research dùng con PC từ năm 2011, Intel Core i3-530, 2GB RAM DDR3 và màn hình CRT (cái màn hình "bụng phệ" ngày xưa ấy ). Cấu hình này giờ chỉ fit làm việc văn phòng cơ bản thôi. Nhưng mà sau khi cắm Pocket Lab vào, hệ thống chạy ChatGPT thành công với tốc độ trung bình khoảng 20 token mỗi giây luôn!
Buổi demo tập trung vào các bài toán suy luận và phân tích. Mô hình trả lời câu hỏi "Bạn là ai?" rồi đến câu "Vì sao 1+1=2", giải thích chi tiết và mượt mà. Riêng câu trả lời thứ hai xài tới 1.582 token, đạt tốc độ 18,6 token mỗi giây - con số "respect" đấy, nhất là khi toàn bộ diễn ra hoàn toàn offline nha!
Ông Samar Bhoj, Giám đốc GTM của Tiiny AI, nói màn trình diễn này đã phá vỡ định kiến lâu nay của ngành công nghiệp AI rồi. Theo ông, việc chạy mô hình lớn không còn cần đống GPU khổng lồ hay hạ tầng đám mây phức tạp nữa. Với Pocket Lab, AI xịn xò có thể hoạt động riêng tư, offline và ngay trên những phần cứng bình dân, kể cả máy tính 14 tuổi!
Bí quyết nằm ở hai công nghệ độc quyền là TurboSparse và PowerInfer. TurboSparse giúp tăng hiệu quả tính toán bằng cách chỉ kích hoạt các nơ-ron cần thiết, thay vì toàn bộ mô hình, mà vẫn giữ nguyên sức mạnh suy luận. Còn PowerInfer phân chia khối lượng công việc giữa CPU và NPU, tối ưu hiệu năng và giảm mức ngốn điện so với hệ thống AI truyền thống dùng GPU.
Về phần cứng, Pocket Lab có CPU ARMv9.2 12 nhân, 80GB bộ nhớ LPDDR5X và ổ SSD 1TB, tất cả nằm gọn trong thiết bị nặng khoảng 300 gram thôi. Nhỏ gọn mà "máu lửa", đủ chạy nhiều mô hình mã nguồn mở như Llama, Qwen, DeepSeek, Mistral, Phi và GPT-OSS nha!
Tiiny AI định vị Pocket Lab là nền tảng AI cá nhân, phục vụ content creator, dev, researcher, sinh viên và các chuyên gia cần xử lý dữ liệu nhạy cảm. Thiết bị hỗ trợ suy luận nhiều bước, hiểu ngữ cảnh sâu, vận hành các quy trình AI agent và tạo nội dung mà không cần mạng.
Điểm cộng nữa là bảo mật xịn sò! Dữ liệu người dùng, tài liệu và sở thích đều được lưu local với mã hóa chuẩn ngân hàng, riêng tư hơn hẳn so với các hệ thống AI trên cloud.
Nguồn: genk.vn