Como a otimização da IA ​​afeta o design do data center

Jun 25, 2023

por Colin Ryan

2 dias atrás

Tate Cantrell. Imagem: Pawel Swider

Tate Cantrell, da Verne Global, discute as implicações que a IA tem no design de data centers, desde requisitos complexos de resfriamento até protocolos de segurança de nível OTAN.

Recentemente, Meta compartilhou detalhes de seus planos para avanços de IA, que incluíam um design de data center otimizado para IA, afirmando que o novo design suportará “hardware de IA refrigerado a líquido e uma rede de IA de alto desempenho conectando milhares de chips de IA para data center clusters de treinamento de IA em grande escala”.

A empresa também afirmou que o novo projeto será mais rápido e econômico de construir. Mas como a otimização da IA ​​realmente afeta as complexidades do design do data center?

Para descobrir, conversamos com Tate Cantrell, diretor de tecnologia da Verne Global, que nos deu uma visão sobre as muitas maneiras pelas quais o design do data center muda para acomodar a operabilidade adequada da IA.

“O projeto do data center é uma tarefa complexa de equilíbrio entre demanda de energia, requisitos de refrigeração, alta segurança, níveis extremos de confiabilidade e acesso de alta velocidade às redes”, disse Cantrell.

“Os modelos de IA exigem intensidade e densidade de computação muito maiores, adicionando uma nova dimensão de complexidade aos desafios do design tradicional de data centers.”

De acordo com Cantrell, alguns dos principais parâmetros afetados pela hospedagem de modelos de IA são fonte de energia e confiabilidade; a necessidade de racks de servidores de maior densidade; e escalabilidade.

“Um data center tradicional que não seja projetado para essas condições extremas não será capaz de fornecer um desempenho confiável. Em última análise, a indústria de data centers precisa de um design de data center modificado se quiser acompanhar as demandas da tecnologia de IA.”

Mas por que os modelos de IA precisam de computação de alta densidade? Cantrell disse que é porque a computação de IA requer “conexões de rede de latência extremamente baixa entre servidores dentro do data center”.

“A densidade média do rack há alguns anos era de 5 kW por rack. Mas a última geração de supercomputadores de IA exige muito mais da infraestrutura do data center.

“Apenas quatro desses sistemas em um rack podem consumir mais de 40 kW e ocupar apenas 60% do espaço de um rack de computação típico. Portanto, se os data centers quiserem lidar com hardware de IA de maneira eficaz, eles precisarão ser capazes desse tipo de computação de alta densidade”.

De acordo com Cantrell, a maioria dos data centers convencionais não estão equipados para lidar com a “enorme” computação necessária para treinar redes neurais de IA, especialmente em termos de resfriamento.

Embora os data centers tradicionais dependam de racks de servidores amplamente espaçados para ajudar no resfriamento, os aplicativos de aprendizado de máquina exigem racks colocados próximos uns dos outros, pois otimizam a latência e a capacidade de largura de banda entre os servidores, ao mesmo tempo que minimizam o custo geral de implantação.

“Para aumentar a complexidade, os sistemas refrigerados a ar posicionados muito próximos uns dos outros podem resultar em deficiências de resfriamento, pois os requisitos extremos de fluxo de ar dos servidores de alta capacidade podem soprar uns contra os outros e criar contrapressão nos ventiladores de resfriamento dentro do equipamento”, Cantrell adicionado.

“Os data centers devem, portanto, equilibrar as pressões financeiras de redução da área ocupada pelo data hall com a necessidade de fornecer espaço suficiente para um resfriamento adequado.

“Esta será uma das razões pelas quais vemos a crescente adoção da refrigeração líquida acelerar.”

Como se os requisitos complexos de refrigeração não bastassem, Cantrell diz que os data centers também precisarão ser “estruturalmente capazes de lidar com equipamentos pesados” para permitir a movimentação de gabinetes pesados ​​de computação de IA, que podem pesar mais de 1,5 toneladas quando totalmente configurados.

‘A própria IA também tem um papel a desempenhar quando se trata de segurança de data centers’

Cantrell afirma que a infraestrutura dos data centers deve ser capaz de atender às demandas de “conectividade, agilidade e escalabilidade” para poder abrigar e analisar os conjuntos de dados cada vez maiores nos quais os modelos de IA são treinados.