A startup sul-coreana FuriosaAI conquistou um importante cliente após a divisão de Pesquisa em IA da LG escolher seus aceleradores RNGD para potenciar servidores que executam os modelos de linguagem Exaone. Enquanto a capacidade computacional, memória e largura de banda são fatores críticos no desempenho da IA, a LG optou por RNGD não apenas pela velocidade, mas principalmente pelo eficiência energética.
Kijeong Jeon, líder do produto na LG AI Research, destacou que o RNGD oferece uma combinação irresistível de benefícios: desempenho real-world excepcional, redução significativa no custo total de propriedade e integração surpreendemente simples. A especificação do RNGD revela um chip relativamente modesto, com performance de ponto flutuante entre 256 e 512 teraFLOPS dependendo da precisão de 16 ou 8 bits, e uma memória de 48GB em pilares HBM3.
Comparando ao último processamento gráfico (GPU) da Nvidia, o RNGD não parece tão competitivo inicialmente. No entanto, a eficiência energética é onde a FuriosaAI brilha: os chips consomem apenas 180 watts, enquanto as GPUs do A100 consomem muito mais para oferecer desempenho semelhante. Isso fez com que o RNGD fosse até 2,25 vezes mais eficiente em consumo de energia.
June Paik, CEO da FuriosaAI, atribui essa eficiência à arquitetura Tensor Contraction Processor do RNGD, que reduzirá drasticamente o movimento de dados e instruções necessárias para multiplicação de matrizes. Além disso, a utilização de HBM (High Bandwidth Memory) em vez de GDDR ajuda na economia de energia.
Enquanto os números indicam que o RNGD ainda está atrás das GPUs mais recentes da Nvidia em termos puros de desempenho, a eficiência energética e a capacidade de paralelismo tensorial permitem que ele se mantenha competitivo. A LG usou quatro placas RNGD para executar o modelo Exaone 32B em configuração tensor-paralela, alcançando taxas de throughput impressionantes.
Embora a FuriosaAI tenha resistido a uma oferta de 800 milhões de dólares da Meta, o desafio de competir globalmente persiste. No entanto, comprovou que sua arquitetura é sólida e está pronta para escalar.
