Saat ini AI didominasi oleh 5 arsitektur perangkat keras yang berbeda, masing-masing dengan pertimbangan berbeda antara fleksibilitas, paralelisme, dan akses memori.

CPU: Desain komputasi umum, hanya memiliki beberapa inti yang kuat, mahir dalam logika kompleks, cabang pengambilan keputusan, dan tugas tingkat sistem. Memiliki cache dalam dan DRAM di luar chip (memori utama), cocok untuk sistem operasi, basis data, dll., tetapi kurang efisien untuk perkalian matriks berulang yang dibutuhkan oleh jaringan saraf.
GPU: Bukan beberapa inti yang kuat, melainkan ribuan inti kecil yang menjalankan instruksi yang sama secara bersamaan (SIMD). Tingkat paralelisme tinggi ini cocok sempurna untuk operasi matematika jaringan saraf, sehingga mendominasi pelatihan AI.
TPU (Dirancang oleh Google): Lebih khusus lagi. Intinya adalah grid unit perkalian akumulasi (MAC), data mengalir dalam bentuk "gelombang" — bobot masuk dari satu sisi, nilai aktivasi dari sisi lain, hasil langsung menyebar tanpa perlu menulis kembali ke memori setiap saat. Eksekusi seluruhnya dikendalikan oleh compiler (bukan penjadwalan perangkat keras), dioptimalkan untuk beban kerja jaringan saraf.
NPU (Neural Processing Unit): Versi yang dioptimalkan untuk perangkat edge. Dilengkapi dengan Neural Compute Engine (deretan besar MAC + SRAM di dalam chip), tetapi menggunakan memori sistem berdaya rendah alih-alih HBM berbandwidth tinggi. Tujuannya adalah menjalankan inferensi dengan daya sekitar satu digit watt di ponsel, perangkat wearable, IoT, dan skenario serupa (Apple Neural Engine, Intel NPU termasuk dalam kategori ini).
LPU (Language Processing Unit, diperkenalkan oleh Groq): Anggota terbaru. Menghapus sepenuhnya memori di luar chip, semua bobot disimpan dalam SRAM di dalam chip. Eksekusi sepenuhnya deterministik, dijadwalkan oleh compiler, tanpa cache miss, tanpa overhead penjadwalan runtime. Kekurangannya adalah memori dalam chip terbatas, membutuhkan ratusan chip yang terhubung untuk melayani model besar, tetapi keunggulan latensi sangat jelas.