12.05.2021
ITBreeze LLC

Кейс: Как установить внешний байпас в работающем ЦОДе?

ITBreeze для ООО «Автодор-Платные Дороги»

Проблема и решение: модернизация для эффективного обслуживания

ООО «Автодор-Платные Дороги» обеспечивает обслуживание трассы и Пунктов взимания платы, отвечает за организацию движения на них, а также координирует работу аварийных комиссаров на участке первой секции с 21 по 211 км автомобильной дороги М-4 «Дон», на Пункте взимания платы 668 км автомобильной дороги М-11 «Нева» (Москва – Санкт-Петербург).

Наша компания, по результатам конкурентных процедур, провела серию работ в ООО«Автодор-Платные Дороги» по обслуживанию оборудования серверных помещений, расположенных в центрах управления и пунктах взимания платы по трассе М4-Дон.

В начале производства работ по обслуживанию ИБП наши специалисты столкнулись с невозможностью вывести оборудование из эксплуатации без перерывов в питании нагрузки. Причина в том, что изначально в схеме питания ИБП не были установлены внешние механические байпасы.  Было принято решение в процессе проведения очередного ТО на трех объектах заказчика в 2020 году смонтировать внешние сервисные байпасы.

По нашему опыту такая ситуация не редкость. Только в половине случаев владельцы ЦОДов изначально думают о том, как будут обслуживать оборудование в дальнейшем. Зачастую внешняя сервисная байпасная панель из поставки исключается в целях экономии. Однако, впоследствии приходится устанавливать байпас дополнительно, с полным отключением электроснабжения потребителей.

В нашем случае стимулом, ускорившим процесс, стала необходимость замены компонентов с истекающим сроком службы в одном из ИБП. Чтобы провести эту процедуру, нужно обеспечить перевод нагрузки на байпас. Поэтому было решено установить байпасы на этот ИБП и заодно два других, а также провести их плановое ТО.

В результате мы разработали комплексный проект:

  • установка внешней сервисной байпасной панели — три ИБП (Eaton и Entel),
  • замена компонентов с истекающим сроком службы — один ИБП Eaton,
  • техобслуживание — три ИБП.

Тот факт, что модернизация проводилась на действующем объекте, определил ряд особенностей проектирования и выполнения работ.

Проект и реализация: поиск решений с учетом меняющихся условий

При проектировании — учли все детали

Основные задачи при проектировании — найти место для удобного размещения байпаса и подключения к существующей нагрузке.

Прежде чем приступать к разработке документации, наши специалисты выехали на объект для осмотра. На этом этапе важно собрать максимум вводных данных: существующие планы здания, текущее размещение оборудования, наличие свободного места под новое оборудование, данные по схеме электроснабжения.

На основе полученной информации разработали схемы, согласовали их с заказчиком, затем подготовили полный комплекс рабочей документации.

Заказчику было необходимо заранее, за месяц, предоставить дату и время отключения нагрузки по каждому ИБП. При этом обесточить их дольше чем на час было нежелательно. Для проведения работ выбрали ночное время, когда нагрузка на объекты минимальна.

С учетом этих требований большое внимание уделили проработке плана-графика всех действий, которые будут выполнены на объектах, с точным указанием времени.

При замене компонента — нашли неочевидные решения

На одном из объектов частично вышел из строя ИБП Eaton: из-за сгоревшего блока питания появилась ошибка. Физически устройство работало, но после выключения повторное включение было бы невозможно.

Встала задача провести диагностику. Однако здесь возникла проблема: для ее выполнения нужно выделить целый день. Это означает длительное отключение питания, которое может затянуться на неопределенный срок в зависимости от результатов: потребуется покупка запчастей, ожидание их поставки, время на замену. Все это время ЦОДу придется питаться от городской сети или дизель-генератора. Такой вариант для работающего объекта дорожной инфраструктуры был неприемлем.

В поиске решения наши специалисты поняли, что диагностику нужно проводить в момент переключений. Кроме того, часть проблем сняло наличие у нас запасных частей и принадлежностей (ЗИП) для данной модели ИБП.

В итоге была согласована такая схема действий:

  • выключаем ИБП,
  • запитываем нагрузку от города или генератора,
  • подключаем байпас,
  • используем ЗИП и пытаемся восстановить работоспособность ИБП в ту же ночь.

Однако план сработал только отчасти. По факту оказалось, что ЗИП недостаточно, и ЦОД пришлось оставить работать от дизель-генератора ввиду нестабильности городской электросети.

Тем не менее, ситуацию удалось разрешить максимально оперативно и без потерь. Мы заказали недостающие компоненты и восстановили полную работоспособность ИБП уже через день.

В результате мы провели модернизацию и ремонт устройства одновременно.

При монтаже — вносили корректировки в план на ходу

К ИБП Entel не удавалось подключить кабели по рекомендуемой схеме из-за физического недостатка пространства. В каждом ИБП есть два ввода — основной и байпасный для подключения байпаса внутри ИБП. Поскольку байпасная панель не использовалась, эти вводы были подключены отдельными проводниками, идущими непосредственно от электрошкафа. Байпасную панель мы уже подключили, поэтому вели от нее один проводник. Чтобы подключить байпасный вход ИБП, было необходимо изготовить и подключить перемычку между основным и байпасным входом. Однако, размер клемм ИБП не позволил подключить эту перемычку.

Выход из положения удалось найти и здесь: байпасный вход ИБП запитали отдельным проводником непосредственно от щита, через имеющийся там резервный автомат.

байпас

Умение ориентироваться на месте и быстро корректировать план позволило обойтись без потерь для заказчика: обнаруженные сложности не потребовали дополнительных затрат.

На всем протяжении проекта — вели взаимодействие с командой заказчика

Практика показывает, что, когда начинается непосредственное исполнение проекта, практически всегда всплывают непредвиденные моменты. Какие превентивные меры можно предпринять, чтобы свести к минимуму задержки в таких ситуациях?

Важно грамотно выстроить взаимодействие с заказчиком, объяснить все риски, связанные с проведением работ.

При согласовании графика проведения работ мы прописали все пункты, начиная от доставки материалов, и все этапы работ, с указанием времени их проведения. Каждый пункт сопровождался поясняющим комментарием. Так заказчик был осведомлен о возможных рисках, а его специалисты четко представляли все детали и были готовы к действиям во внеплановой ситуации.

Как правило, при проведении таких работ обязательно присутствуют представители заказчика:

  • специалист, который отвечает за энергетику, на случай проблем со схемой и т.п.;
  • специалист, который отвечает за ИТ-технику, т.к. во время переключения может потребоваться что-то запустить или перезапустить;
  • ответственный руководитель, который может принимать оперативные решения на месте.

На проекте в этом отношении был осложняющий фактор: работы проводились ночью, а объекты находятся на трассе. Обеспечить присутствие всех заинтересованных лиц было сложно. Поэтому мы организовали работу так.

На месте в ночь проведения работ присутствовал главный инженер. И дополнительно был создан чат в мессенджере, в котором участвовали ИТ-специалисты, ответственные за сервера, и сотрудники, отвечающие за определенные компоненты. О ходе работ мы сообщали в реальном режиме времени: приступили к отключению, отключили кабели, подали временное питание и т.д. Инженеры отправляли запрос на удаленное отключение серверов, а специалисты заказчика, со своей стороны, сообщали о том, что отключение выполнено и можно приступать к следующему этапу. Чат в мессенджере фактически стал протоколом с хронометражем производства работ.

Еще один важный момент: изменения, внесенные в проект, обязательно должны быть задокументированы. Поэтому после завершения работ проектировщик выпустил комплект исполнительной документации.

Результаты и выводы

Благодаря проведенной модернизации мы получили возможность проводить максимальный перечень сервисных работ на ИБП — очистку, протяжку контактов, дополнительные измерения, в том числе внутренние, — не прерывая питания нагрузки. Это касается и ремонтных работ, которые теперь будут проводиться без перерывов питания нагрузки. Для заказчика это означает исключение простоев оборудования для выполнения периодических и экстренных работ.

Значимый итог, который подтверждается этим проектом.

Модернизация, даже выполненная в плановом режиме, обходится недешево: простой оборудования, работа специалистов приводят к дополнительным расходам. Экономия на таких опциях, как внешний байпас, по факту оказывается мнимой. Более рационально изначально запроектировать и смонтировать максимум опций, необходимых для обслуживания оборудования.

Мы получили высокую оценку от ООО «Автодор-Платные Дороги» за проведенные работы, и надеемся, что наш опыт и неоспоримые конкурентные преимущества позволят и в будущем проводить такие работы как объектах дорожной инфраструктуры, так и у иных заказчиков.


Другие статьи