Глобальные расходы мировых ИТ-гигантов на ИИ могут превысить $300 млрд в 2025 году (по прогнозам аналитиков Financial Times), и запуск DeepSeek уже стал одним из значимых драйверов роста индустрии. В результате колоссального спроса на вычислительные ресурсы рынок ЦОДов продолжает расти на 10–15% каждый год. Чтобы обеспечить необходимые ресурсы для исследований, разработки и внедрения ИИ-решений, компании меняют подходы к созданию серверной и сетевой инфраструктуры ЦОДов и стремятся выжать максимум из каждого стойко-места.
Как сократить дефицит мощностей при росте спроса на вычисления.
В России, как и в других странах, крупные компании при развитии своих дата-центров все чаще сталкиваются с нехваткой выделенных мощностей на стойку — по нашему опыту, есть реальные случаи, когда стойки заполнены лишь на 30–50% из-за вынужденных ограничений по энергопотреблению.
Чтобы обеспечить вычислительные ресурсы при росте бизнеса и внедрении ИИ, компании вынуждены искать альтернативные решения, включая строительство новых ЦОД или переход на более энергоэффективное оборудование. При работе с запросами на высоконагруженные стойки и проектировании таких решений мы рассматриваем не только проверенные методы, но и инновационные. Они обеспечивают прорывную плотность (в 5–10 раз выше), но требуют пересмотра архитектуры ЦОД и подготовки персонала. Сейчас прежде всего актуальны гибридные решения — они позволяют постепенно наращивать эффективность без полного отказа от существующей инфраструктуры.
Иммерсионное охлаждение – преимущества и нюансы.
Центральные микропроцессоры для искусственного интеллекта выделяют огромное количество тепловой энергии. По мере того, как модели ИИ становятся все более комплексными, а количество сфер применения растет, воздушного охлаждения и free cooling уже не хватает. Из наиболее подходящих для задач ИИ методов, которые могут стать особенно востребованными в ближайшие годы, — иммерсионное охлаждение серверов ЦОД.
При иммерсионном охлаждении тепло отводится от вычислительного оборудования за счет его полного или частичного погружения в теплопроводную диэлектрическую жидкость. В отличие от традиционного охлаждения, при котором тепло отводится потоком воздуха, в иммерсионных системах жидкость находится в непосредственном контакте с нагревающимися компонентами сервера, включая материнскую плату, процессор, видеокарты, диски и блоки питания, что обеспечивает более эффективный теплоотвод.
Иммерсионное охлаждение бывает однофазным и двухфазным. В однофазных иммерсионных системах охлаждения хладагент остается в жидком состоянии на протяжении всего цикла. Диэлектрическая жидкость циркулирует между резервуаром, в который погружено оборудование ЦОД, и теплообменником с помощью насосной группы. Тепло, выделяемое оборудованием, отдается непосредственно жидкости, которая затем охлаждается в теплообменнике. Однофазная технология позволяет охлаждать оборудование мощностью до 150 кВт на стойку.
В двухфазных системах принцип охлаждения основан на процессе кипения и конденсации диэлектрической жидкости, для таких систем необходимо использовать герметичные контейнеры. При контакте с нагревающимися компонентами сервера жидкость закипает и превращается в пар. Этот пар поднимается, конденсируется на теплообменнике в верхней части контейнера и охлаждается водой. Затем пар возвращается в жидком виде обратно в контейнер, где снова вступает в цикл охлаждения. Двухфазное иммерсионное охлаждение способно отводить тепло уже до 250 кВт чистой мощности на одну стойку, что оптимально для высокой нагрузки на стойки при ИИ-вычислениях.
Коэффициент Power usage effectiveness (PUE) в иммерсионных системах доходит до 1,02–1,1, то есть максимально близок к идеальному. Для сравнения: при традиционном воздушном охлаждении средний PUE составляет 1,6–1,8, при воздушном с free cooling — 1,2–1,4, при жидкостном — 1,1–1,3. При этом нагретый хладагент в иммерсионных системах можно использовать повторно — например, для подогрева воды или отопления помещений.
Современные системы иммерсионного охлаждения строятся вокруг специализированных резервуаров, изготовленных из нержавеющей стали, алюминия или композитных материалов, устойчивых к коррозии. В зависимости от типа охлаждения (одно- или двухфазное) используются либо открытые бассейны, либо герметичные модули с контролем испарения. Критически важным компонентом является диэлектрическая жидкость: в однофазных системах применяют минеральные масла или синтетические составы, а в двухфазных — фторкетоны или гидрофторэфиры, которые испаряются и конденсируются в замкнутом цикле. Серверы для иммерсионного охлаждения требуют особой конструкции: отсутствие вентиляторов, защищенные от коррозии разъемы и оптимизированная компоновка для эффективного теплоотвода. При этом не все компоненты совместимы с жидкостью — например, HDD часто заменяют на SSD, а блоки питания и кабели должны быть герметичными или иметь специальную изоляцию. Производители, такие как LiquidStack, предлагают готовые решения, например, 48U-резервуары, совместимые со стандартными стойками 19`/21` и OCP, но их вес (до 2500 кг) и сложность монтажа требуют тщательного планирования инфраструктуры.
Чтобы непрерывно поддерживать эффективность такой системы, необходимы насосы, теплообменники (в однофазных системах) плюс конденсаторы с компрессорами (в двухфазных), а также многоуровневый мониторинг через датчики температуры, давления и чистоты жидкости. Особое внимание уделяется обслуживанию: извлечение серверов требует подъемных механизмов — от ручных гидравлических лифтов до автоматизированных кран-балок, предотвращающих перекосы и повреждение оборудования. Встроенные системы фильтрации и SCADA-платформы минимизируют риски, но, чтобы успешно внедрить такие системы, нужен высококвалифицированный персонал, так как ошибки могут привести к простоям или повреждению дорогостоящих компонентов.
Иммерсионные баки с жидкостью и серверами создают нагрузку 1000–1500 кг/м² в зависимости от типа системы. Поэтому при проектировании дата-центра с иммерсионным охлаждением критически важна архитектурно-строительная подготовка помещений. Для крупных установок, таких как открытые бассейны, необходимо предусмотреть мостовые краны грузоподъемностью до 5–10 тонн, а высота потолков должна составлять не менее 3,5–4,5 метра — это обеспечит пространство для подъемных механизмов, вентиляции и обслуживания оборудования. Особого внимания требуют двухфазные системы: помимо стандартной вентиляции необходимо организовать принудительное пароудаление с фильтрацией (например, для фторкетонов типа Novec 7100) и выделить зоны для просушки серверов.
Безопасность инфраструктуры включает несколько уровней защиты. Полы должны иметь уклон и ливневые стоки на случай утечки жидкости, а под резервуарами обязательны аварийные поддоны. Поверхности покрываются химически стойкими материалами, а датчики протечек монтируются как на полу, так и в самих резервуарах. Отдельное требование — система утилизации: отработанная жидкость хранится в специальном помещении, а дренажные системы проектируются с учетом химического состава диэлектриков. Все эти меры позволяют минимизировать риски для персонала и оборудования, но их реализация требует тщательных расчетов на этапе проектирования ЦОДа.
Подводные камни при погружении.
Для систем иммерсионного охлаждения необходима абсолютная герметичность: даже незначительная утечка жидкости способна повредить оборудование и вызвать простой дата-центра. Однако герметичность — не единственный вызов. Жидкость требует регулярного мониторинга: со временем она теряет свойства из-за нагрева, окисления или накопления примесей, что снижает эффективность охлаждения. Загрязнения могут привести к локальному перегреву, а в двухфазных системах — к неконтролируемому испарению. Поэтому при иммерсивном охлаждении необходимо внедрять автоматизированные системы анализа состава жидкости и строгие регламенты ее замены.
Далеко не все серверы рассчитаны на работу в жидкой среде — погружение может аннулировать гарантию или вывести из строя компоненты, такие как HDD. Кроме того, в однофазных системах возможны риски из-за слабой конвекции, а в двухфазных — перегрев при недостаточном испарении. Чтобы исключить подобные ситуации, необходимо согласовывать использование иммерсионного охлаждения с производителями оборудования и тщательно тестировать инфраструктуру перед запуском.
Сейчас технология остается новой для многих инженеров, а это повышает риск ошибок при монтаже и эксплуатации. Например, извлечение сервера требует строгого соблюдения протокола: в двухфазных системах необходимо дождаться охлаждения, чтобы избежать резкого испарения, а в однофазных — учитывать вязкость жидкости. Ремонт погруженного оборудования часто попросту невозможен: поврежденные компоненты проще заменить, чем чистить или восстанавливать. Поэтому для массового внедрения иммерсионного охлаждения критически важно обучать персонал и разрабатывать детальные инструкции.
Несмотря на высокую энергоэффективность, иммерсионное охлаждение пока остается нишевым решением из-за сложности в администрировании и ограниченной совместимости с оборудованием. Тем не менее у него хорошие перспективы — они будут зависеть от развития технологии, совершенствования стандартизации, подготовки кадров и готовности производителей серверов адаптировать компоненты под жидкую среду.
Сколько стоит революционная эффективность?
Строительство ЦОДов с иммерсионным охлаждением требует более высоких капитальных затрат по сравнению с традиционными решениями. К примеру, в сравнении с фреоном и чиллерами стоимость таких решений выше в 1,5–2 раза. При этом серверное оборудование дорожает в среднем на 10–30% в год из-за необходимости модификаций — удаления вентиляторов и защиты компонентов. В итоге CAPEX ЦОДа с иммерсионным охлаждением выше на 30–60%.
Ключевое преимущество — в эксплуатационных расходах: PUE 1,02–1,1 против 1,5–1,8 у воздушного охлаждения сокращает энергозатраты на 40%, а плотность размещения возрастает до 50–200 кВт/стойку (в 5–10 раз выше). Это позволяет уменьшить занимаемую площадь на 60–80% (200–400 м² на 1 МВт против 1000 м²), что критически важно для ИИ-кластеров с их экстремальными нагрузками.
Срок окупаемости таких решений — три-семь лет. Поэтому для энергоемких проектов ставка на иммерсионные технологии может стать частью долгосрочной стратегии развития.
Графеновые компоненты.
Такие решения пока что не получили широкого распространения из-за сложности производства компонентов и высокой стоимости соответственно, однако к ним тоже стоит присмотреться, когда необходимо кратное повышение производительности вычислительных мощностей.
Графеновые технологии охлаждения способны дать впечатляющие результаты: теплопроводность материала достигает 5300 Вт/(м·K), что в 2,5 раза выше, чем у меди, и в 10 раз превосходит алюминий. Как показывают испытания IBM, графеновые радиаторы отводят на 25–40% больше тепла при тех же габаритах, а термоинтерфейсы снижают температуру чипов на 15–20°C по сравнению с традиционными решениями. Это делает графен идеальным кандидатом для охлаждения высоконагруженных ИИ-серверов и суперкомпьютеров. Например, в японском суперкомпьютере Fugaku графеновые тепловые трубки уже доказали свою эффективность, а в Китайском национальном суперкомпьютерном центре их внедрение позволило снизить PUE на 0,15.
Пока что графеновые решения остаются нишевым продуктом для HPC-систем, высоконагруженных ИИ-кластеров, суперкомпьютеров и других исключительных задач. NVIDIA уже тестирует графен в системах охлаждения GPU H100, но для большинства ЦОДов эта технология пока остается слишком дорогой, несмотря на срок службы, превышающий 10 лет. Тем не менее аналитики IDTechEx прогнозируют снижение стоимости производства графеновых компонентов на 40–60%, что может изменить ситуацию.
Магнитное охлаждение.
В основе магнитного охлаждения лежит магнитокалорический эффект, благодаря которому материалы меняют температуру под воздействием магнитного поля. Он используется для создания холодильного цикла, аналогичного традиционному, но без применения компрессоров и вредных хладагентов. Ключевыми элементами системы становятся особые материалы, такие как гадолиний и его сплавы, которые нагреваются при намагничивании и охлаждаются при размагничивании.
Технология магнитного охлаждения, основанная на магнитокалорическом эффекте, реализуется через четыре ключевых этапа: адиабатическое намагничивание материалов (например, гадолиниевых сплавов), изомагнитный отвод тепла, адиабатическое размагничивание и изомагнитное поглощение тепла. По данным Европейского союза по исследованиям в области магнитного охлаждения (EU Magnetica), такие системы демонстрируют коэффициент эффективности (COP) до 15, что в 3 раза выше показателей современных чиллеров с водяным охлаждением (COP — 5–6) и на 50% превосходит лучшие компрессорные решения. Лабораторные испытания в Национальном институте стандартов и технологий США (NIST) подтвердили возможность достижения температурного перепада в 50°C при КПД 60% от теоретического предела Карно — недостижимого показателя для традиционных технологий.
Несмотря на высокий потенциал магнитного охлаждения, его коммерческое внедрение пока ограничено. Однако аналитики прогнозируют взрывной рост благодаря инвестициям таких игроков, как Cooltech Applications и Camfridge. Ключевым барьером остается стоимость редкоземельных материалов — цена гадолиния колеблется вокруг $45 за 1 кг, что пока делает решения на 30–40% дороже традиционных систем. Тем не менее, по оценкам EU Thermag, к 2026 году удешевление производственных процессов может сократить этот разрыв до 15–20%, открыв путь к массовому внедрению в сегменте высоконагруженных ЦОДов.
Заключение.
Сейчас в ИИ-проекты и инфраструктуру для них инвестируют прежде всего мировые ИТ-гиганты, владеющие высоконагруженными вычислительными мощностями. Это те, у кого есть ресурсы, чтобы играть вдолгую. Но в то время, как немногие игроки на рынке строят ЦОДы для ИИ, внедряют ИИ в процессы и используют соответствующие ресурсы все крупные компании.
Псоздании современной вычислительной инфраструктуры, особенно в зарубежных проектах, клиенты задумываются о том, что она должна быть адаптирована под задачи ИИ. И при проектировании мы предусматриваем такой задел на будущее.
В обозримом будущем подходы к созданию и эксплуатации ЦОДов, позволяющие обеспечить большую мощность, энергоэффективность и интеллектуальное балансирование нагрузки, которые сейчас внедряют лидеры рынка, станут актуальными и для большинства крупных компаний.