Enquanto boa parte dos projetos de inteligência artificial doméstica depende de placas de vídeo de alto desempenho, um entusiasta decidiu seguir um caminho diferente. Em uma publicação no Reddit, ele mostrou um servidor equipado com 2 TB de memória RAM, quatro processadores Intel Xeon Gold, 128 TB de armazenamento SSD e FreeBSD para executar modelos de linguagem localmente usando o llama.cpp, sem depender de serviços em nuvem.
O projeto foi publicado no subreddit r/pcmasterrace e chamou atenção pelas especificações pouco comuns em um laboratório doméstico. Segundo o autor, praticamente todos os componentes foram comprados usados, com exceção dos SSDs.
“Eu odeio computação em nuvem e modelos de assinatura, então decidi fazer tudo localmente. Sei que este não é o tipo de setup que costuma aparecer por aqui, mas gostei muito do resultado.”
My latest build. 112 Threads, 2TB RAM, 128TB SSD storage. FreeBSD and Llama.cpp
by
u/life_after_midnight in
pcmasterrace
As imagens divulgadas mostram um servidor em formato rack equipado com quatro soquetes para processadores, dezenas de módulos de memória, diversos compartimentos para SSDs hot-swap e um conjunto de ventoinhas de alto desempenho.
A configuração inclui:
- quatro processadores Intel Xeon Gold 6146;
- 56 núcleos e 112 threads;
- 2 TB de memória DDR4 ECC de 3.200 MT/s;
- 16 SSDs de 8 TB, totalizando 128 TB de armazenamento;
- interface de rede de 100 GbE;
- FreeBSD 15.1;
- llama.cpp para executar modelos de inteligência artificial.
É importante destacar que essas especificações foram informadas pelo próprio autor da postagem e não puderam ser verificadas de forma independente apenas pelas fotografias.
A opção foi investir em memória, não em GPUs
A escolha mais curiosa do projeto não é o volume de armazenamento nem a quantidade de memória instalada.
Nos comentários da publicação, outro usuário perguntou por que o servidor não utilizava placas de vídeo para acelerar a execução dos modelos de IA.
A resposta foi simples:
“Porque eu não tenho condições de comprar mais de 1 TB de VRAM.”
Em seguida, o autor explicou a lógica por trás da configuração:
“Se você quer executar os melhores modelos localmente, prefiro rodá-los mais devagar do que simplesmente não conseguir utilizá-los.”
A declaração resume um dos principais desafios enfrentados por quem trabalha com grandes modelos de linguagem. Embora GPUs modernas sejam muito mais rápidas para inferência, a quantidade de memória de vídeo disponível costuma limitar o tamanho dos modelos que podem ser carregados integralmente.
Por que 2 TB de RAM fazem diferença
Ferramentas como o llama.cpp permitem executar modelos de linguagem diretamente na CPU utilizando a memória principal do computador.
Essa abordagem normalmente entrega um desempenho inferior ao obtido com placas de vídeo dedicadas, mas permite trabalhar com modelos muito maiores quando há grande disponibilidade de RAM. Em sistemas com centenas de gigabytes ou até alguns terabytes de memória, torna-se possível carregar modelos que exigiriam várias GPUs profissionais trabalhando em conjunto. Para muitos entusiastas, o investimento em memória e servidores usados acaba sendo mais acessível do que adquirir diversas placas de vídeo de alto desempenho, especialmente em projetos voltados para aprendizado e experimentação.
Um laboratório doméstico para pesquisa
Questionado se aquela máquina fazia parte apenas de seu laboratório doméstico, o autor respondeu que sim.
Segundo ele, o servidor será utilizado para aprendizado e pesquisa, e novas fotografias deverão ser publicadas quando toda a infraestrutura estiver concluída.
O equipamento também não fica próximo ao ambiente de convivência da casa.
“Tenho uma casa com porão, então o servidor fica lá, em uma sala com ar-condicionado.”
Essa escolha faz sentido considerando que servidores corporativos costumam produzir muito mais ruído e calor do que computadores convencionais, exigindo refrigeração adequada para operação contínua.
IA local ganha espaço entre entusiastas
Nos últimos anos, o avanço dos grandes modelos de linguagem também impulsionou o interesse por soluções capazes de executá-los localmente.
Além da preocupação com privacidade, muitos usuários buscam reduzir custos recorrentes com assinaturas de plataformas de inteligência artificial ou evitar depender de serviços hospedados por terceiros.
Nesse cenário, ferramentas como o llama.cpp tornaram possível executar modelos diretamente em computadores pessoais e servidores domésticos, ainda que com desempenho inferior ao obtido em sistemas equipados com GPUs de última geração.
