Atualmente, a IA é dominada por 5 arquiteturas de hardware diferentes, cada uma fazendo diferentes trade-offs entre flexibilidade, paralelismo e acesso à memória.

CPU: Design de computação geral, com poucos núcleos poderosos, especializado em lógica complexa, decisões de ramificação e tarefas de nível de sistema. Possui cache profundo e DRAM fora do chip (memória principal), adequado para sistemas operacionais, bancos de dados, etc., mas não muito eficiente para multiplicações de matrizes repetidas necessárias em redes neurais.
GPU: Não são poucos núcleos poderosos, mas milhares de núcleos menores executando a mesma instrução simultaneamente (SIMD). Essa alta paralelização combina perfeitamente com os cálculos matemáticos de redes neurais, dominando assim o treinamento de IA.
TPU (Projetado pelo Google): Ainda mais especializado. O núcleo é uma grade de unidades de multiplicação-acumulação (MAC), com fluxo de dados em forma de "onda" — pesos entram de um lado, valores de ativação de outro, e o resultado é propagado diretamente, sem precisar reescrever na memória a cada passo. Toda a execução é controlada por um compilador (não por agendamento de hardware), otimizada especificamente para cargas de trabalho de redes neurais.
NPU (Unidade de Processamento Neural): Versão otimizada para dispositivos de borda. Possui Neural Compute Engine embutido (grande matriz de MAC + SRAM no chip), mas usa memória de sistema de baixo consumo em vez de HBM de alta largura de banda. O objetivo é executar inferências em dispositivos móveis, wearables, IoT, etc., com consumo de energia na casa dos dígitos de watts (Apple Neural Engine, Intel NPU também se enquadram nesta categoria).
LPU (Unidade de Processamento de Linguagem, lançada pela Groq): Membro mais recente. Remove completamente a memória fora do chip, com todos os pesos armazenados na SRAM no chip. Executa de forma totalmente determinística, agendada por compilador, sem perdas de cache ou custos de agendamento em tempo de execução. A desvantagem é a memória limitada dentro de um chip, exigindo centenas de chips interconectados para suportar modelos grandes, mas a vantagem de latência é bastante evidente.