25.03.2022
ITBreeze LLC

Как перенести блоки системы охлаждения в работающем высоконагруженном ЦОДе: проект для МКБ

С Московским кредитным банком (МКБ) мы сотрудничаем уже давно — инженерная инфраструктура ЦОДа находится у нас на обслуживании с 2017 года (подробнее об этом — в нашем недавнем кейсе). Когда у банка появилась дополнительная задача, мы приняли участие в конкурсе и были выбраны банком для ее реализации.

Задача

Задача возникла в марте 2020, в период локдауна.

В связи с реорганизацией парковочного пространства на внешней парковке здания МКБ, возникла необходимость переноса оборудования и трасс, что и стало нашей задачей.

Речь шла о шести внешних блоках, установленных на третьем этаже парковки:

  • Schneider Electric — 4 ед.,
  • Mitsubishi Electric — 2 ед.

Дополнительной сложностью стало не оптимальное техническое решение, реализованное при первоначальной установке: были выбраны блоки Schneider Electric в горизонтальном исполнении с выдувом вверх. В условиях небольшой высоты потолков это приводило к возникновению зон перегрева, в которых кондиционеры “задыхались”.

Кроме того, заказчиком рассматривался вариант обновления оборудования с заменой блоков. Это было реализовано частично: решено заменить два блока Schneider Electric, которые имели более сильную степень износа. Заодно это стало способом заметно снизить перегрев, т. к. для замены были закуплены блоки с выдувом вперед, меняющие тепловые потоки и учитывающие конструктивные особенности места установки.

Проектирование

Предпроектная стадия оказалась самым длительным этапом.

Проект планировался и реализовывался совместно с группой поддержки ЦОД Департамента ИТ обеспечения МКБ.

ИТ-службами МКБ было разработано техническое задание и выбрана схема проекта, с учетом минимизации возможных рисков для работающего на пределе мощности ЦОД, а также заранее была улучшена схема мониторинга и детализирована температурная карта помещения  ЦОД.

Для заказчика было важно найти наиболее приемлемый вариант в рамках выделенного бюджета и объема трудозатрат, поэтому после первичного выезда для осмотра и замеров наш инженер-проектировщик отрисовал 12 вариантов переноса оборудования. Каждый из них проходил согласование с банком.

В числе вариантов были просчитаны схемы переноса на разные этажи, а также на кровлю здания. В итоге новое место расположения блоков было выбрано на том же третьем этаже — такое решение предполагало минимальную по сравнению с остальными длину трассы, сокращало время работ и, соответственно, расходы. Весь процесс от разработки схемы до финального согласования занял около 6 месяцев.

Кроме того, по требованиям заказчика было необходимо согласовать проект со Schneider Electric, получив подтверждение корректности выбранной планировки. Изначальная установка с выдувом вверх, не полностью соответствующая техническим стандартам, вызвала у вендора сомнения. Однако после обсуждения коллеги из Schneider Electric пришли к выводу, что в результате замены и переноса блоков условия работы оборудования улучшатся, и выдали официальное заключение с одобрением проекта.

Реализация

Основная сложность проекта — необходимость вести работы с учетом бесперебойности для действующего ЦОД, что требует исключить риски перебоев в системе охлаждения. Исходя из существующей схемы — три кондиционера всегда работают, один остается в резерве —совместно выбрали поочередную реализацию: отключение резервной машины, перенос блока и новое подключение, этап проверки и отладки, далее тот же цикл со следующим кондиционером.

Чтобы сократить время простоя оборудования, мы провели большую предварительную работу: заранее были подготовлены рамы на местах для установки, пробиты отверстия в перекрытии, проведена вся трасса до места стыковки. Таким образом, в момент переноса оставалось только отрезать существующую трассу и перепаять новую.

При реализации проекта дополнительно проводились постоянные обходы оборудования силами ИТ-дежурных банка.

При этом вести работы монтажникам пришлось в ночное время, т. к. днем парковка активно используется: движущиеся автомобили создают помехи и риски для безопасности.

В процессе планирования работ рассматривались разные варианты прокладки трассы. Первоначально предполагалось провести ее к месту установки по этажу под потолком, но впоследствии заказчик предпочел прокладку под этажом с последующим выводом к месту установки. Такое решение позволило полностью отказаться от пересечения городских парковочных мест — вся трасса проходит по этажу, принадлежащему заказчику.

При этом, если раньше трасса выходила из основного здания и сразу поднималась на третий  этаж, то теперь нам нужно было провести ее под проездом высотой в 7 м и завести в здание парковки. Для выполнения высотных работ пришлось использовать туру и автовышку.

Еще один момент обнаружился уже в ходе реализации работ. Как выяснилось, во время первой пусконаладки система была недостаточно отвакуумирована — в ней оставались неконденсируемые примеси и влага, что привело к окислению масла. Мы предложили заказчику провести двойную замену масла, которую удобно совместить с работами по переносу. Это и было осуществлено: после отключения кондиционера, пока монтажники припаивали компоненты, инженеры меняли масло в компрессоре.

В итоге время, в течение которого один из кондиционеров не работал, занимало сутки. Мы отключали его утром, к вечеру оставляли систему на вакуумирование и следующим утром вновь запускали. Затем, через 36 часов наработки, проводили тест масла на кислотность и меняли его еще раз. Кроме того, мы установили антикислотные фильтры, которые дополнительно собирают кислоту из системы.

После выполнения всех работ оставался этап пусконаладки, который прошел в штатном режиме. С нашей стороны участвовала бригада монтажников и два инженера, которые имеют огромный опыт работы с оборудованием Schneider Electric — поэтому никаких проблем с его отключением, заменой масла и последующей пусконаладкой не возникло.

Тщательное планирование, подробно проработанная документация от проектировщика обеспечили надежное и качественное исполнение всех запланированных работ. 

Полный срок реализации проекта с момента подписания договора составил около 4 месяцев. В это время входит не только проектирование и выполнение работ, но и закупка и поставка оборудования, чем также занимались мы. Непосредственно работы на объекте заняли 1 месяц.

Таким образом, в рамках поставленной задачи мы провели комплекс работ:

  • разработка рабочей исполнительной документации;
  • поставка комплектно-расходных материалов и конденсаторов воздушного охлаждения, 2 шт.;
  • демонтаж старой трассы; 
  • изготовление металлических конструкций (рамы под новое оборудование и ограждения, короб под проездом, в котором пошла трасса);
  • монтаж новых трасс;
  • пусконаладочные работы;
  • двойная замена фильтров осушителей, масла и хладагентов;
  • установка антиокислительных фильтров;
  • проведение пусконаладочных работ с учетом поэтапной реализации проекта.

В итоге ЦОД прошел жаркий летний период без инцидентов!

Стоит отметить, что опыт предыдущего сотрудничества с МКБ, за время которого мы отлично изучили оборудование на объекте, стал нашим дополнительным преимуществом при реализации этой задачи.


Другие статьи