Оптимизация PUE и устранение возможных инцидентов на этапе проектирования ЦОДа c помощью комплексного моделирования

Выбор оптимального и правильного решения на этапе проектирования центра обработки данных (ЦОД), находящегося в конкретных климатических условиях и конкретном месте, перестает быть вопросом из серии «угадали — не угадали», а становится делом строгой математики и компьютерного моделирования.

Дарья Денисихина, заместитель генерального директора компании «ММ-Технологии», кандидат ф.-м. наук, LEED AP BD+C
Дмитрий Мацкевич, независимый эксперт

 

Комплексное моделирование — подход, который должен сопровождать любой современный процесс проектирования ЦОДа. Когда заказчик выбирает в пользу того или иного решения по охлаждению ЦОДа, его выбор определяется по следующим критериям.

Во-первых, система охлаждения должна обеспечить подачу необходимого количества холодного воздуха и поддержать температуру в заданных пределах. Причем это не только обеспечение средних температур, но и, что весьма важно, отсутствие флуктуаций температуры на входе в стойки с ИТ-оборудованием, иначе это прямой путь к авариям.
Второй критерий при выборе проектного решения — энергоэффективность охлаждения ЦОДа. То есть необходимо точное знание того, насколько больше или меньше будет энергопотребление инженерных систем ЦОДа в течение года в сравнении с теоретическим расчетным значением.

Таким образом, есть два направления анализа и выбора решений, два фокуса моделирования — энергетическое моделирование и анализ распределения температуры.

Энергомоделирование

Энергетическое моделирование ЦОДа — это уникальная возможность рассмотреть на этапе проектирования различные варианты схем охлаждения, увидеть особенности функционирования ЦОДа в течение года при реализации каждого из решений, учесть неравномерность загрузки серверного оборудования, сделать выводы об эффективности тех или иных решений, оправданности инвестиций в то или иное климатическое оборудование.

Инструментом такой оценки может быть одна из множества программ энергетического моделирования. Такие программы позволяют в той или иной степени детализации смоделировать функционирование любого здания в течение расчетного периода времени (как правило, это расчетный год). При этом учитываются почасовые погодные изменения, такие как температура, влажность, скорость и направление ветра, солнечная радиация и пр.

Анализ реального PUE, полученного с учетом изменяющихся загрузок оборудования и погодных данных, позволяет получить достоверную картину фактического функционирования ЦОДа. Это те реальные значения энергопотребления, которые собственник дата-центра будет иметь при эксплуатации своего объекта.

В частности, что касается PUE. Этот параметр принято анализировать при максимальной постоянной нагрузке ЦОДа, и это будет одно значение. Но по факту, когда ЦОД начинает эксплуатироваться, загрузка у него частичная — по определенному профилю. При этом значение PUE становится отличным от того, которое было определено расчетным путем. Как правило, оно непостоянно во времени и сильно зависит от погодных условий.

Например, такие расчеты можно сделать для решений с внутрирядным охлаждением, при использовании камеры смешения, для фрикулинга или распределенного охлаждения. В результате для каждого из конкретных решений будет сделан анализ того, как изменяется годовое потребление. Соответственно будет изменяться и PUE. Определив среднегодовое значение PUE, можно понять, какой вариант системы поддержания микроклимата наиболее эффективен для данного ЦОДа.  Анализируя же характер изменения PUE в течение года, можно разработать пути оптимизации системы охлаждения для достижения наибольшей эффективности.

По сути, энергомоделирование — это мощнейший инструмент для проигрывания сценария жизни ЦОДа еще на этапе его проектирования.

Анализ распределения температуры

После того как сделан выбор схемы охлаждения, важно убедиться, что решение обеспечивает необходимое количество подаваемого воздуха с требуемой равномерностью полей температуры. В случае недостаточной подачи воздуха к оборудованию воздух будет заимствоваться ИТ-оборудованием из горячей зоны, и, как следствие, возникнет перегрев. В частности, такая проблема может возникнуть при высоких скоростях в пространстве фальшпола.

Численное моделирование (CFD-подход) позволяет провести анализ распределения температуры, скорости в объеме фальшпола, получить температуры на входе в каждую стойку, выявить зоны «перетекания» горячего воздуха в зону холодного коридора, своевременно разработать пути устранения обнаруженных проблем.

Камера смешения

С точки зрения энергоэффективности применение камеры смешения (т. е. использования потенциала наружного воздуха для охлаждения) — это хорошее решение, которое позволяет получать достаточно низкий PUE. Тем не менее распространенная проблема, с которой неоднократно приходилось сталкиваться при анализе уже
готового проекта, — это конфигурация камеры смешения.

Так, в одном из проектов рециркуляционный горячий воздух, попадая в камеру смешения, должен был смешаться с поступающим туда холодным наружным воздухом и далее, после «полного» смешения, поступить в объем ЦОДа.

Однако анализ показал, что воля проектировщика не смогла заставить теплый воздух опуститься вниз. Проектировщик честно по алгебраической формуле указал расчетную температуру смешения воздуха в камере. Он был искренне уверен, что в камере смешения потоки разных температур равномерно смешиваются. Однако при проверке с использованием методов CFD-моделирования оказалось, что теплый воздух практически весь уходит наружу, а вентиляторы, которые работали на общий расход, просто стали забирать больший объем наружного холодного воздуха. В итоге в объем ЦОДа поступал воздух с отрицательной температурой. Хорошо еще, что это было обнаружено на этапе проектирования, а не во время строительства. В итоговое решение были добавлены перегородки внутри камеры смешения. Модификация позволила нормально смешивать воздух, предотвращая вытекание теплого воздуха наружу из камеры смешения. В результате в объем ЦОДа стал поступать воздух с равномерной положительной температурой.

Выводы

Комплексный подход к моделированию дает возможность проанализировать различные решения по охлаждению ЦОДа с точки зрения эффективности, рассчитать реальный коэффициент PUE, проверить равномерность температур во избежание аварий и выхода из строя оборудования. Анализ различных проектных решений позволяет выбрать наиболее эффективное решение в конкретной географической зоне и проверить качество воздушной среды, предотвратив тем самым возможные аварии.

Такой анализ можно проводить не только на этапе проектирования, но и для уточнения и оптимизации уже построенного ЦОДа. Ведь та модель, которая получена на этапе проектирования дата-центра, может быть уточнена, например, с помощью учета фактического профиля загрузки ЦОДа. После этого проводится математический анализ работы существующего ЦОДа
и поиск оптимизационных решений. Это еще один путь, позволяющий оператору дата-центра сэкономить значительные средства.