ООО “Центр “ГеоГрид” — один из лидеров в области обработки сейсмических данных, которые используются для геологоразведки и оценки нефтегазового потенциала на всех стадиях разработки месторождений. Компания выполняет проекты не только в основных добывающих регионах России, но и по всему миру. Среди ее заказчиков — ведущие российские и зарубежные энергетические предприятия.
Нам предстояло построить мини-ЦОД, создав вычислительную, инженерную и сетевую инфраструктуру. Важно учитывать, что профиль “ГеоГрид” — решение сложных задач по моделированию, обработке и интерпретации сейсмических данных, что требует безотказной работы highload-сервисов. Было необходимо обеспечить бесперебойный доступ к высоконагруженным ресурсам при использовании до 99% вычислительной мощности.
ЦОД под задачи клиента: основные параметры
- Проектная потребляемая мощность — 200 кВт (20 стоек по 10 кВт каждая). Еще 150 кВт выделено под инженерную инфраструктуру.
- Вся инженерная инфраструктура выполнена в конфигурации с резервированием N+1, которая обеспечивает высокий уровень отказоустойчивости.
- Использована классическая схема установки оборудования с организацией холодного коридора.
- Установлены системы обеспечения безопасности: газового пожаротушения, видеонаблюдения, контроля физического доступа в помещения.
Для реализации проекта выбраны следующие вендоры:
- Eaton (стойки, холодный коридор, ИБП),
- Stulz (прецизионные кондиционеры),
- Wilo (насосы),
- Guntner (сухие охладители),
- OSTROV + Guntner (охлаждение ИБП).
Для решения задач по обработке данных заказчику требовалось порядка 10 000 физических ядер. Высокоплотные решения нам не подходили (большая мощность, много тепла), поэтому кластер собран на стандартных 1u серверах HPE.
В качестве системы передачи данных мы использовали 10gbe ethernet. Сетевая топология — обычная звезда. Обмен данными происходит по схеме “управляющий узел — счетные узлы, счетные узлы — система хранения данных”, поэтому мы не стали усложнять систему отдельным интерконнектом.
Особенности проекта: проблемы и решения
Помещение, выделенное под ЦОД, находится в цокольном этаже здания, которое относится к объектам культурного наследия. И если первый факт достаточно распространен в текущих реалиях, то проблема охраны культурного наследия встала в полный рост и потребовала некоторых нестандартных с точки зрения инженерной инфраструктуры решений.
Поскольку крыша здания не приспособлена под установку оборудования (и, как оказалось, тоже является культурным наследием), мы приняли решение устанавливать сухие охладители на земле. А точнее, углублять их в землю, так как перед фасадами запрещено устанавливать что-либо выше нижней кромки окон первого этажа.
Утверждая такое решение, мы учитывали, что тем самым снижаем производительность сухих охладителей на 25%. Однако этот шаг был оправдан, так как вычислительные мощности располагаются не во всех стойках: 1 стойка — коммутационная, 1 — с оборудованием медиасистем, 3 — внутренняя IT-инфраструктура, 1 — с оборудованием безопасности, 4 — система хранения данных и система резервного копирования в силу большого объема обрабатываемой информации. Для данной конфигурации потеря 25% охлаждающей мощности не была критичной: по расчетам, мы укладывались в N+1. Практика показала, что единовременная загрузка 10 стоек расчетных серверов + 10 стоек оставшегося оборудования выделяют 140 кВт тепла.
Еще одна сложность вызвана конфигурацией помещения, при которой две группы по три кондиционера в каждой оказываются перпендикулярны друг другу. В результате воздушные потоки пересекаются под фальшполом под прямым углом. И одновременная работа двух ближайших перпендикулярных кондиционеров приводит к локальному перегреву двух стоек.
Чтобы избежать перегрева, мы загрузили две стойки коммутационным оборудованием и оборудованием безопасности — опыт показывает, что они являются самыми холодными.
Итоги
Для задач Центра “ГеоГрид” мы создали комплексное решение, которое включает:
- разработку проекта
- поставку оборудования
- монтаж
- пуско-наладочные работы
Весь процесс от старта до запуска занял 14 месяцев.
Столкнувшись с некоторыми ограничениями из-за объективных, не зависящих от нас факторов, мы применили нетиповые решения. Созданная инфраструктура позволяет заказчику решать текущие задачи с высоким уровнем эффективности и надежности. На следующем этапе запланировано масштабирование дата-центра до 14 700 ядер. Учитывая это, мы заложили в проект возможности для дальнейшего наращивания инфраструктуры.
Бесперебойное функционирование ЦОДа подтверждает правильность технических решений, которые мы выбрали, и качество выполненных работ.
