Um usuário do Reddit recentemente parou a comunidade r/pcmasterrace ao publicar fotos do novo “brinquedo” da sua empresa: um servidor de Inteligência Artificial que custou nada menos que US$ 350 mil, cerca de R$ 1,8 milhão.
O coração dessa besta tecnológica são dez GPUs NVIDIA H100. Cada uma dessas placas é equipada com 80 GB de memória HBM3, totalizando 800 GB de VRAM. Para se ter uma ideia, isso permite carregar modelos de linguagem gigantescos, como o LLaMA 3.1 de 405 bilhões de parâmetros, inteiramente na memória de vídeo.
Mas a “ostentação” técnica não para nas GPUs:
-
Processadores: Dois Intel Xeon Platinum 8488C, somando 112 núcleos físicos e 224 threads.
-
Memória RAM: 2 TB (2.048 GB) de DDR5, preenchendo todos os slots disponíveis na placa-mãe.
-
Poder de Cálculo: A máquina entrega quase 10 petaFLOPS em operações de IA, uma marca assombrosa para um único chassi.
Por que empresas compram em vez de alugar
A decisão de adquirir o hardware em vez de contratar capacidade em nuvem faz mais sentido quando a carga de trabalho é previsível e constante. Treinar modelos proprietários com dados sensíveis, rodar inferência em escala ou manter um ambiente controlado de MLOps são cenários em que ter o equipamento dentro de casa elimina a latência de rede, o risco de variação de preço de cloud e a dependência de disponibilidade de instâncias, que ainda hoje é escassa para GPUs H100 em provedores populares.
