ЦОД с водяным охлаждением в компании «Балтика»

О заказчике

ОАО «Пивоваренная компания «Балтика» — крупнейший производитель товаров народного потребления России, с 1996 года лидер российского рынка пива. Бренд «Балтика» занимает первое место по продажам в Европе. Компании принадлежат заводы в 10 городах России, 1 завод в Азербайджане, широкий портфель брендов.

Ситуация

В 2005 году было решено консолидировать активы компании BBH в России, т. е. объединить фирмы «Балтика», «Вена», «Пикра» и «Ярпиво». В результате получилась структура, состоящая из десяти предприятий, 26 сбытовых подразделений и складских терминалов с персоналом около 12 тысяч человек, работающая по всей России — от Санкт-Петербурга до Хабаровска. Кроме того, менялись бизнес-процессы и методы работы на рынке, росла потребность в повышении скорости и качества принятия решений, внедрялись новые системы управления различными бизнес-процессами (например, CRM-система), развивались инновационные подходы. Соответственно, в результате у компании выросли потребности в информационных технологиях, обеспечивающих сбор, обработку и сохранность данных, получаемых со всех регионов России.

Решение

Процесс консолидации вызвал изменения и в ИТ-стратегии. Прежде всего, было принято решение о консолидации всех информационных систем предприятий, вошедших в компанию. До этого на каждом заводе работала своя ERP-система, хотя и были предусмотрены методы обмена данными между ними. В новых условиях бизнес требовал единого информационного поля, ему была необходима новая, единая ERP-система, в которой работали бы все сотрудники компании вне зависимости от географического расположения. Была выбрана централизованная архитектура этой системы: информация должна собираться и храниться в одном месте, что существенно увеличивает эффективность и скорость принятия решений, облегчает управление данными и доступ к ним. Специалисты компании «Монолит Инфо» разработали и поставили ERP-систему «Монолит» 4.0. Но переход на новую программную платформу потребовал серьезных изменений в ИТ-инфраструктуре. В частности, намного ужесточились требования к обеспечению непрерывности бизнеса и отказоустойчивости, новая система должна была иметь более высокую вычислительную мощность, а также оперировать значительно большими объемами данных. Создание новых ЦОДов должно было удовлетворить все потребности в централизации бизнес-систем высокой надежности, обеспечить сохранность и конфиденциальность информации, получаемой из всех регионов России.

Был проведен анализ ситуации, сформулирована проблема и варианты ее решения в текущих, разработан план действий. Глобальное требование по отказоустойчивости было следующим: при полном прекращении электропитания ЦОД должен функционировать не менее сорока минут. За это время на «Балтике» электроподача будет восстановлена в любом случае (компания имеет собственную электростанцию и городское питание). Именно для того, чтобы обеспечить требование функционирования не менее сорока минут при полном отключении электропитания, и была выбрана технология водяного охлаждения.

Главные задачи:

• Обеспечить непрерывности бизнес-процессов. Централизованная ИТ-система означает, что при отказе оборудования в центре ни на одном заводе не будет отгружена ни одна бутылка пива и не выйдет ни один сопровождающий документ. Главной задачей проекта построения ЦОДов было создание полноценного «зеркала», позволяющего обеспечить работу в режиме 24×7×365.
• Обеспечить работу территориально распределенного предприятия. Предприятия «Балтики» «живут» в разных временных поясах, разница во времени достигает семи часов.
• Обеспечить доступность и нормальную работу приложений при нагрузке в несколько тысяч пользователей (пиковая нагрузка — 5 тысяч).
• Обеспечение обслуживающих служб ЦОДа в небольших уже существующих помещениях площадью 30—35 м2.

Для обеспечения этих характеристик было решено сделать два ЦОДа, чтобы гарантировать дополнительную надежность. Центры должны находиться в разных зданиях. В целях безопасности серверные разнесены друг от друга на 600 метров и размещены в разных корпусах, разделенных дорогой шириной в 150 метров. В частности, это может помочь сохранить работоспособность ИТ-систем при любой проблеме в одном из зданий (пожар, авария сетей и т. д.).

При этом компоненты бизнес-систем дублируются в разных серверных. Кроме того, из требований к ЦОДам вытекают требования к их инженерной инфраструктуре. Так, готовность инженерной инфраструктуры серверной должна обеспечиваться : дублирование компонентов инфраструктуры (1+1) и модульность внутри компонентов (N+1).

Было принято решение сделать два ЦОДа с разными решениями по охлаждению, чтобы та же техническая проблема не возникла в двух местах одновременно. При создании ЦОДа с водяным охлаждением пришлось отказаться от «многовендорности». Если ЦОД на воздушном охлаждении создавался как набор решений от разных вендоров, то ЦОД с водяным охлаждением был спланирован как единое решение на базе APC InfraStruXure.

Водное охлаждение было выбрано потому, что благодаря инерционности тепловых свойств воды технология водяного охлаждения более эффективна, так как при наличии в системе нескольких тонн воды, охлажденной до 13 градусов, даже после отключения электропитания и кондиционирования оборудование не перегреется и останется работоспособным. Между тем при обычной схеме отключение электропитания приведет к тому, что кондиционеры также перестанут работать; в этой ситуации в лучшем случае можно без ущерба свернуть работу оборудования, потому что без кондиционирования оно продержится до перегрева лишь несколько минут. Либо необходимо дублирование ИБП для работы кондиционеров, что весьма накладно.

Осуществление проекта

Для реализации проекта пригласили двух подрядчиков — компанию «Комплит» для проекта «водяной» серверной и «Компьютерные системы “Акрополис”» для реализации ЦОДа с классической системой кондиционирования. Оба подрядчика обладали компетенцией в области инфраструктуры серверных помещений, и оба имели статус системных интеграторов «Балтики». В качестве субподрядчиков проекта по созданию ЦОДа с водяным охлаждением выступили группа компаний «Хоссер» и фирма APC by Schneider Electric.

Были созданы две рабочие группы, по одной для каждого ЦОДа, наполовину состоявшие из специалистов «Балтики» и наполовину — из внешних специалистов. Исполнители были представлены рабочими группами инженеров с менеджером-руководителем. От «Комплита» было два менеджера и шесть технических специалистов, от APC by Schneider Electric и «Хоссера» — тринадцать инженеров, их руководители и менеджеры. Такое количество работавших над проектом диктовалось сложностью технического решения.

Подготовительные работы начались весной 2006 года. Проект по серверной с классическим охлаждением длился восемь месяцев — он стартовал весной, а закончился зимой 2006-го. ЦОД смонтирован по классической схеме — с потолочными промышленными кондиционерами, с резервированием электропитания кондиционеров и оборудования. Кроме того, было предусмотрено отдельное кондиционируемое помещение для ИБП. В серверной разместилась система обеспечения электропитания от APC на 50 кВт. В дальнейшем было произведено расширение мощности питания до 100 кВт (питание обеспечивается полезная серверная  нагрузка и кондиционирование).

ЦОД с водяным охлаждением начали создавать с осени 2006 года. «Водяная» серверная оказалась более затратной и сложной, чем помещение со стандартной схемой кондиционирования. Работы шли дольше, один год и три месяца, и только осенью 2007-го подошли к концу. В серверной размещено десять шкафов под оборудование и система электропитания от APC на 60 кВт, которая обеспечивает сорок минут бесперебойной работы серверного оборудования. В дальнейшем  мощность питания была увеличена до 80 кВт, вместе с увеличением охлаждающей мощьности, что позволило повысить плотность оборудования в шкафах. Без внешнего питания за счет водяного охлаждения ЦОД может работать сорок минут (это время, за которое температура воды повысится до 24 градусов). За счет единого решения от APC by Schneider Electric был обеспечен комплексный мониторинг всех инженерных систем — ИБП, кондиционеров, чиллеров и т. д.

Инженерная инфраструктура ЦОДа

•  10 шкафов для оборудования
• 80 Квт, до 40 минут батарей
•  Инерционное охлаждение
• Отказоустойчивость 1+1, n+1
• Водяной контур внутренний
• Фреоновый контур внешний
• Регулировка влажности
• Мониторинг: UPS, климат

Результат

Построенный в компании «Балтика» ЦОД обеспечивает требуемое время бесперебойное работы инженерной инфраструктуры для работы приложений Это был первый проект в северо-западном регионе с использованием водяного охлаждения, и в его ходе на практике отрабатывались нюансы взаимодействия компаний-производителей — APC by Schneider Electric, Stulz и партнеров — «Комплит» и «Хоссер».

Цели проекта на данный момент достигнуты, дальнейшее развитие выльется в построение на базе созданной инфраструктуры отказо- и катастрофоустойчивых ИТ-решений. Хотя у «Балтики» есть своя электростанция, всё же имеются опасения, что при масштабной аварии ЦОД может не получить электропитания в расчетное время, поэтому предполагает дополнить систему независимой дизельной установкой.

При дальнейшем расширении ЦОДов планируется снова воспользоваться технологией водяного охлаждения. Это оптимальная и единственная технология, способная обеспечить ИТ-инфраструктуру, которая должна работать непрерывно и надежно в режиме 24×7. Уровень надежности и отказоустойчивости при этом выше, чем в случае традиционного кондиционирования.