Google Merilis Algoritma TurboQuant: Kuantisasi KV Cache 3 bit Tanpa Kehilangan Presisi, Kecepatan Inferensi Meningkat Hingga 8 Kali Lipat

Berita Gate News, pada 25 Maret, Google Research merilis algoritma kompresi kuantitatif TurboQuant, yang dapat mengompresi cache KV dari model bahasa besar hingga 3 bit, mengurangi penggunaan memori setidaknya 6 kali lipat, tanpa perlu pelatihan atau penyesuaian ulang, dan tanpa kehilangan akurasi model. Dalam mode 4 bit, kecepatan perhitungan perhatian pada GPU Nvidia H100 meningkat hingga 8 kali dibandingkan baseline 32 bit yang tidak dikuantifikasi. Tim peneliti memverifikasi menggunakan model Gemma dan Mistral pada benchmark konteks panjang seperti LongBench, Needle In A Haystack, ZeroSCROLLS, dan TurboQuant menunjukkan performa terbaik di semua pengujian. Algoritma ini terdiri dari dua sub-algoritma: PolarQuant yang menghilangkan biaya memori dari metode kuantisasi tradisional melalui transformasi koordinat polar, dan QJL yang hanya menggunakan 1 bit untuk mengoreksi residual error. Penelitian ini dipimpin oleh Amir Zandieh dari Google Research dan Wakil Presiden sekaligus Google Fellow Vahab Mirrokni, bekerja sama dengan KAIST Korea dan New York University, dan akan dipresentasikan di ICLR 2026. Google menyatakan salah satu aplikasi utama teknologi ini adalah mengatasi bottleneck cache KV dari model seperti Gemini.

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.

Artikel Terkait

AI menelan 80% modal ventura global, Q1 2026 menyerap 242 miliar dolar: bagaimana pelaku industri Crypto menanggapi redistribusi dana

Menurut laporan, pada kuartal pertama tahun 2026 total nilai global modal ventura mendekati 300 miliar dolar AS, di mana perusahaan-perusahaan terkait AI menyumbang sekitar 242 miliar dolar AS, atau 80% dari modal ventura. Ini menunjukkan bahwa AI telah menjadi fokus utama modal ventura. Seiring dana terkonsentrasi pada AI, bidang lain seperti crypto tertekan, dan pelaku industri perlu menyesuaikan strategi, mengintegrasikan AI secara lebih mendalam ke dalam bisnis, serta memperkirakan akan muncul tren penggabungan infrastruktur.

ChainNewsAbmedia44menit yang lalu

Survei Nomura Securities: 80% investor institusional berencana mengalokasikan aset kripto dengan AUM 2% hingga 5%

Survei investor institusional aset digital 2026 dari Nomura Securities (Nomura) dan anak perusahaannya di bidang kripto, Laser Digital, menunjukkan bahwa hampir empat per lima investor institusional yang disurvei berencana mengalokasikan 2% hingga 5% dari total aset kelolaan (AUM) ke pasar mata uang kripto; sebagian besar institusi menyatakan rencana tersebut akan dilakukan dalam satu tahun ke depan, bukan investasi segera.

MarketWhisper04-17 03:05

Survei Nomura: 80% Investor Institusional Bersedia Mengalokasikan 2-5% untuk Kriptokurensi

Sebuah survei dari Nomura mengungkapkan 80% investor institusional bertujuan untuk menginvestasikan 2-5% dalam mata uang kripto, dengan mengutamakan strategi imbal hasil seperti staking dan lending. Kepastian regulasi dan manajemen risiko adalah kunci untuk meningkatkan minat institusional terhadap aset digital.

GateNews04-16 19:11

Pasar Stablecoin Mencapai $322B ATH, Volume Perdagangan Q1 2026 Tembus $8.3 Triliun

Pasar stablecoin mengalami pertumbuhan yang signifikan, melonjak sebesar $2.25 miliar untuk mencapai $322 miliar, meskipun pasar kripto secara keseluruhan mengalami kontraksi. USDC mengalami peningkatan pasokan yang substansial, sementara USDT mempertahankan pangsa pasarnya. Stablecoin yang menghasilkan (yield-bearing) berkontribusi secara menonjol terhadap pertumbuhan ini, dengan aktivitas transaksi mencapai titik tertinggi sepanjang masa.

GateNews04-16 19:02

Ethereum Foundation Mengumumkan Hasil Proyek ETH Rangers: Lebih dari $5.8M dalam Aset yang Dipulihkan atau Dibekukan

Proyek ETH Rangers dari Ethereum Foundation telah berhasil diselesaikan, dengan mendanai 17 peneliti untuk meningkatkan keamanan publik di ekosistem. Pencapaian mencakup pemulihan $5.8M dalam aset, mengidentifikasi lebih dari 785 kerentanan, dan mengembangkan beberapa alat keamanan.

GateNews04-16 14:32
Komentar
0/400
Tidak ada komentar