Три задачи — одна защита

02.09.2014 | 09:32 Технологии

Коммерческий дата-центр КОМПЛИТ разместился в новом здании на Яхтенной улице в Санкт-Петербурге — вместе с демоцентром и небольшим ЦОДом, обслуживающим собственные нужды компании. Основной машинный зал коммерческого дата-центра площадью 208 кв. м способен вместить до 70 стоек. Специальные помещения выделены для системы электропитания и телекоммуникационного оборудования, обеспечивающего организацию доступа провайдеров.

Модульный принцип

Инженерная инфраструктура ЦОДа КОМПЛИТ включает в себя подсистемы энергообеспечения, климат-контроля, пожарной сигнализации и пожаротушения, передачи технологических данных; автоматизированные системы диспетчеризации; автоматизированную систему управления информационными ресурсами. Модульный принцип построения инженерных систем (ДГУ, ИБП и кондиционеров) позволяет вводить мощности поэтапно.
 
По завершении первого этапа в эксплуатацию введена часть основного зала ЦОДа, рассчитанная на установку 22 стандартных стоек высотой 48U. Их электропитание обеспечивают два ИБП мощностью 250 кВА каждый, включенных по схеме резервирования 2N. К системам бесперебойного электропитания на первом этапе подключается нагрузка машзала с расчетным потреблением 126 кВт, а также дополнительное оборудование, такое как насосы системы охлаждения и кондиционеры машзала. На втором этапе доступная для ИТ оборудования мощность в машзале вырастет до 440 кВт. Мощность, потребляемая демоцентром, составляет 20 кВт; в перспективе она увеличится до 40 кВт.

Уровень надежности ЦОДа в точности соответствует Tier III по классификации Uptime Institute.
Системы холодоснабжения и ДГУ выполнены по схеме с резервированием N+1, а система электропитания машзала — 2N. Предусмотрено несколько физически независимых каналов распределения электропитания, а также резервные трассы системы охлаждения. Ремонтные работы (включая замену любых компонентов, демонтаж вышедшего из строя оборудования и добавление нового) могут проводиться без остановки ЦОДа, что позволяет обходиться без ежегодных плановых полномасштабных отключений. ЦОД КОМПЛИТ демонстрирует уровень эксплуатационной готовности 99,98%. При условии правильного обслуживания систем это означает, что незапланированные простои снижаются в среднем до 1,6 часа в год.

«ЦОД рассчитан на предоставление услуг сторонним компаниям, а принцип гибкого наращивания мощностей инженерных систем позволяет не только подключать дополнительное оборудование по мере увеличения клиентской базы, но и избегать простоя значительной части имеющихся систем, — говорит Владислав Яковенко, начальник отдела инфраструктурных проектов компании КОМПЛИТ. — Данный подход помогает повысить надежность ЦОДа, сократить затраты на обеспечение избыточности за счет резервирования отдельных модулей, а не всей системы и позволяет проводить замену и профилактику отдельных узлов в „горячем” режиме, не мешая работе других модулей системы».

Стоечная инфраструктура

ИТ-оборудование размещается в шкафах APC NetShelter SX 48U производства компании Schneider Electric, оснащенных устройствами распределения питания PDU и модулями мониторинга окружающей среды с датчиками температуры, влажности, вибрации и запыленности. Сбор и обработка показаний датчиков осуществляются единой системой мониторинга ЦОДа. Многофункциональные шкафы NetShelter SX оптимизированы с точки зрения простоты монтажа, организации кабелей и интегрированного распределения электропитания. Они рассчитаны на высокую плотность размещения различных устройств, в том числе сетевого оборудования, а благодаря вниманию, которое разработчики уделили охлаждению, распределению электропитания, организации кабелей и контролю условий среды, шкафы NetShelter служат отличной средой размещения ответственного стоечного оборудования. Кабельные пропуски большого сечения в крыше и днище обеспечивают максимальную свободу ввода кабелей сверху и из-под фальшпола.
Перфорированные передние и задние дверцы обеспечивают пропуск воздушного потока, достаточного для охлаждения серверов и сетевого оборудования.
Шкафы комплектуются монтажными элементами для соединения в ряд, что обеспечивает большую устойчивость в целом. Конструкция рамы, толстые опорные балки и прочные ролики выдерживают статическую нагрузку до 1364 кг и динамическую — до 1023 кг.

Бесперебойное питание

Электропитание вычислительных мощностей центра обработки данных защищено на нескольких уровнях: помимо резервированных входных фидеров бесперебойное питание обеспечивают дизель-генераторы (ДГУ) и ИБП переменного тока. Для достижения требуемого уровня готовности ЦОДа применяется дублирование компонентов защиты энергетической системы и линий подключения нагрузки. Проектом строительства предусмотрено разделение системы на несколько пусковых очередей. Полная расчетная мощность, потребляемая ЦОДом, составляет 850 кВА.
Электроснабжение всего объекта осуществляется от выделенной трансформаторной подстанции с двумя независимыми трансформаторами 6/0,4 кВ. В главном распределительном щите ГРЩ установлены устройства автоматического ввода резерва (АВР) на моторизованных автоматах. Дизельгенераторы запускаются в автоматическом режиме по сигналу от АВР при пропадании электропитания на двух вводах одновременно.

Машинный зал разделен на три независимые группы потребителей; каждая питается от двух независимо работающих ИБП (MGE Galaxy 7000 производства Schneider Electric) по двум независимым трассам. Источники включены по схеме резервирования 2N и имеют избыточную мощность. При выходе из строя одного из ИБП оборудование продолжает получать питание от другого без перерыва в работе.

Питание ИБП резервировано по вводу: предусмотрены основной ввод, резервный (от трансформаторной подстанции) и дополнительный (от группы дизель-генераторов). Под систему бесперебойного электропитания, включая шесть ИБП, и аккумуляторные батареи, выделено помещение площадью 48 кв. м. Аккумуляторы размещаются на стеллажах, а кабели и шинопроводы проложены в лотках под фальшполом высотой 500 мм.
Расчетное время автономной работы с обеспечением бесперебойным электропитанием любого из шести ИБП составляет 9 минут. Этого достаточно для запуска дизель-генераторных установок, которые берут на себя снабжение ЦОДа электроэнергией.

Система холодоснабжения

Системы холодоснабжения обеспечивают поддержание внутри ЦОДа рабочей температуры в пределах от +20 до +27°С и относительной влажности от 40 до 80%.
В целом систему охлаждения ЦОДа можно разделить на три условно независимых системы.
1. Система непосредственного охлаждения зала ЦОДа и вспомогательных помещений (демоцентр, помещение ИБП, провайдерская, диспетчерская), выполняемого с помощью прецизионных жидкостных кондиционеров и вентиляторных доводчиков.
2. Система вывода излишков тепла на улицу, построенная на моноблочных чиллерах внешней установки с функцией естественного охлаждения (фрикулинг): охлаждение теплоносителя в холодный период года осуществляется наружным воздухом без использования компрессоров.

3. Система резервирования — накопительные баки с охлажденной жидкостью и насосы.

Холодильная система состоит из четырех наружных и двух внутренних контуров охлаждения. В случае выхода из строя одного из компонентов основного наружного холодильного контура вместо него запускается резервный. В качестве хладоносителя применяется 40%-ный пропиленгликоль, температура которого составляет +10/+15°С. Для поддержания этих параметров используются чиллеры с конденсатором моноблочного исполнения, охлаждаемым воздухом. На первом этапе установлено два уличных чиллера, включенных по схеме резервирования 2N. Планируется поэтапное наращивание системы до четырех чиллеров (с резервированием по схеме 3+1).

Внутренний контур системы холодоснабжения ЦОДа и вспомогательных помещений образуют 29 прецизионных кондиционеров внутрирядного типа, а также пять вентиляторных доводчиков канального типа, четыре настенных и один кассетного типа. В насосной смонтированы два расширительных бака системы охлаждения, два циркуляционных насоса, бак заполнения системы и запиточный насос. В случае остановки одного из циркуляционных насосов реле протока автоматически запускает резервный.
Контур подачи хладоносителя от чиллеров и внутренний контур подачи хладоносителя до потребителей замыкаются на двух аккумулирующих баках. В случае выхода из строя баков (одного или обоих) можно воспользоваться байпасной линией, причем останавливать всю систему не потребуется. В случае обесточивания внутреннего контура содержимого баков хватит для работы системы охлаждения в течение 9 минут.

При необходимости можно увеличить мощность теплоотвода подключением к системе дополнительных устройств — водоохлаждаемых компьютерных шкафов, дополнительных внутрирядных кондиционеров и др. Для охлаждения помещения ИБП, где не столь критична точность, используются доводчики канального типа с резервированием 4+1.

В машзале ЦОДа и в демоцентре применяются внутрирядные прецизионные кондиционеры APC InRow, а для улучшения охлаждения стоек предполагается использовать дополнительную систему изоляции «холодного» или «горячего» коридора.

На первом этапе в зале ЦОДа установлены восемь прецизионных внутрирядных кондиционеров APC InRow(с резервированием на уровне каждого ряда по схеме N+1), рассчитанных (с запасом) на мощность ИТ-оборудования 125 кВт. Два прецизионных внутрирядных кондиционера в демоцентре не резервируются и рассчитаны на общую мощность оборудования ИТ до 50 кВт. В кроссовых, провайдерской и диспетчерской применяются вентиляторные доводчики настенного типа.

Система диспетчеризации

Автоматизированная система диспетчеризации и управления (АСДУ) собирает данные о работе всех инженерных систем ЦОДа. Необходимая информация, включая наглядные представления состояния всех датчиков и оповещения, выводится на экраны мониторов. АСДУ ведет непрерывный мониторинг с регистрацией основных параметров и событий. Системы контролируют протечки жидкостей, следят за температурой и влажностью, качеством электропитания, состоянием автоматических выключателей, за работой системы гарантированного электропитания, открыванием и закрыванием шкафов. Пост наблюдения за работой информационных и инженерных систем ЦОДа располагается в диспетчерской.

«Заказчикам обеспечивается гарантированная бесперебойность работы оборудования и техническая поддержка в режиме 24x7x365, а также гарантированный удаленный доступ к оборудованию», — подчеркивает Владислав Яковенко.

О компании

Компания КОМПЛИТ работает на рынке системной интеграции с 1994 года. C 2007 года в перечень сервисов, предоставляемых компанией, входят услуги в области построения и эксплуатации ЦОДов. За это время реализован целый ряд проектов по созданию ЦОДов «под ключ», а также множество проектов модернизации дата-центров и инсталляции инженерных систем. В числе заказчиков — компании Peter-Service, «Балтика», «МегаФон», LinxTelecom
В 2012 году компания КОМПЛИТ построила и ввела в эксплуатацию коммерческий центр обработки данных, на базе которого предоставляются услуги по размещению/аренде и сопровождению аппаратного и программного обеспечения, а также целый ряд дополнительных сервисов.

Инфраструктура в цифрах

Площадь машинного зала                     208 кв. м;
Количество стоек    70 шт.
APC NetShelter SX 48U ;
PDU                                     APC by Schneider Electric
Энергопотребление на стойку         7 кВт (с возможностью увеличения по запросу)
Прецизионные кондиционеры межрядного типа    29 шт. по 25 кВт
внутрирядные ACRC502 и ACRP502 с контролем влажности.
 
Категория надежности                     Tier III
Показатель эксплуатационной готовности                     99,98%
Общая электрическая мощность                 850 кВА
Тип ИБП Galaxy    Schneider Electric, 250 кВА

Демоцентр на базе ЦОДа

Основной целью работы демоцентра является минимизация возможных рисков при введении в эксплуатацию новых программных и аппаратных ИТ-решений, ознакомление заказчиков с новыми решениями и технологиями, а также сокращение расходов на модернизацию ИТ-инфраструктуры предприятия. Здесь представлены решения, которые предлагаются корпоративным заказчикам компаниями НР, Cisco, Citrix, VMware, Microsoft, Cortado и др.
Клиенты могут получить удаленный доступ к лабораторным стендам, собранным в соответствии с согласованными программами тестирования и схемой стендов.