Tencent buka sumber HY-1.8B-2Bit, model AI efisiensi tinggi untuk perangkat seluler.
Tencent resmi merilis HY-1.8B-2Bit, sebuah model bahasa besar (LLM) yang dirancang khusus untuk penggunaan langsung di dalam perangkat (on-device).
Dengan teknik kompresi tingkat lanjut, model ini hanya membutuhkan ruang penyimpanan sebesar 600MB—lebih kecil dibandingkan ukuran banyak aplikasi seluler populer saat ini.
Meskipun ukurannya sangat ringkas, model ini tetap mempertahankan kemampuan penalaran yang kuat, menjadikannya solusi ideal untuk integrasi AI pada perangkat dengan spesifikasi terbatas.
Keunggulan utama HY-1.8B-2Bit:
- Ukuran ultra-kecil: Menggunakan strategi 2-bit yang mengecilkan jejak parameter 1.8B menjadi setara 0.3B.
- Kemampuan Dual-CoT: Tetap memiliki fitur Dual Chain-of-Thought untuk penalaran yang canggih meski dalam ukuran mikro.
- Performa kilat: Proses prefill 3 hingga 8 kali lebih cepat pada cip Apple M4 dan MediaTek Dimensity 9500.
- Akurasi unggul: Mencatatkan keunggulan akurasi rata-rata 17% dibandingkan model lain dengan ukuran serupa.
- Optimasi perangkat keras: Dioptimalkan secara khusus untuk arsitektur Arm SME2 dan silikon konsumen modern.
