Интервью с Ильёй Царёвым, главным инженером проектов, Schneider Electric APC

13.09.2013 | 14:58 Мнения

«На рынке ЦОД появляются новые проекты и новые заказчики, появляются запросы на новые интересные, «продвинутые» инженерные решения, и для проектировщиков инженерных систем есть много интересной работы».

Илья, что вам чаще приходится делать: заниматься проектной работой или проводить экспертизу существующих ЦОД и помогать устранять какие-то проблемы, возникшие уже на этапе эксплуатации?

В основном наше подразделение занимается подготовкой проектной документации и консалтингом по новым центра обработки данных. Это связано ещё и с тем, что модернизацией и устранением недостатков на существующих объектах у нас в компании занимается бизнес-подразделение «Сервис».  Наш департамент интеграции занимается в основном новыми объектами, новым строительством.

То есть, вы – те люди, которые помогут с нуля сделать всё правильно?

Да.

Тогда как человек, занимающийся проектированием дата-центров, скажите, сложно ли вносить изменения в работающем ЦОД, если были допущены ошибки на этапе проектирования?

Как показывает наша практика, наиболее сложно на этапе эксплуатации менять архитектуру, сложно модернизировать основные критически важные системы инженерной инфраструктуры ЦОДов. К ним относятся система электроснабжения и система кондиционирования. Любое серьёзное изменение этих систем обычно приводит к тому, что ЦОД частично или полностью должен быть отключен на довольно длительное время. Естественно, что для владельцев ЦОДов это прямые убытки. Архитектуру зачастую вовсе невозможно изменить без того, чтобы остановить ЦОД на длительное время в связи с тем, что необходимы так называемые «грязные» работы, связанные с пылью, доступом посторонних людей в ЦОД, перемещением оборудования, с отключением питания, и так далее. Поэтому, мне кажется, наиболее ответственно следует подойти к  вопросам поиска площадки под ЦОД требуемого размера и к прогнозированию его развития.

Важным моментом является разработка планировочных решений ЦОДа с учётом необходимости иметь не только машинные залы под оборудование, но и полный набор вспомогательных помещений, таких как помещение под инженерную инфраструктуру –  хладоцентры и энергетические-аккумуляторные, склады, зона тестирования, помещения для дежурной смены, диспетчерские, помещения охраны, помещения под распаковку оборудования, нормальные широкие коридоры для транспортировки оборудования и прохода людей.

Когда вы проектируете ЦОДы, вы ориентируетесь на такой параметр как сертификация по уровню Tier? Насколько он актуален сейчас на рынке?

Обычно почти все заказчики говорят о каком-либо Tier, ориентируются на эту систему классификации, и в основном речь идёт о Tier от Uptime Institute.  Некоторые заказчики говорят о Tier по американскому стандарту TIA-942. Классификация по  Tier служит для них ориентиром для того, чтобы говорить на общем языке с проектировщиками и партнёрами проекта. Всегда Tier какого-либо уровня упоминается. Сертификация же интересует более узкий круг заказчиков, в основном тех, кто связан с коммерческими ЦОДами, для кого сертификат, удостоверяющий Tier построенного ЦОДа в будущем будет дополнительной рекламой, подтверждением его качества, его надёжности и функциональных возможностей. Это позволяет при общении с потенциальными заказчиками ЦОДа  избежать необходимости какого-либо дополнительного аудита ЦОДа при заключении договора с клиентами.

То есть Вы, когда создаёте проект, отдаёте его в Uptime Institute для сертификации – или же это происходит уже после завершения проекта?

По-хорошему – работа с Uptime Institute должна идти в процессе проектирования. Бывает так, что заказчик не торопится тратить деньги на Uptime, и начинает с ним работать вместе с проектировщиком уже после того, как проект появляется, или когда начинается строительство.

Тогда, наверное, один из главных вопросов, которые просят учесть ваши заказчики на этапе проектирования – «Как снизить операционные расходы?». По энергопотреблению в первую очередь. Что вы им рекомендуете?

В первую очередь, заказчики требуют снизить капитальные затраты. Операционные расходы их, конечно, тоже интересуют, но если есть возможность серьезно снизить капитальные затраты, а операционные расходы при этом несколько вырастут, они выберут именно такой вариант. Существует определённый набор мероприятий, которые призваны снизить операционные расходы. Прежде всего стоит сказать о технических мероприятиях при разработке системы кондиционирования. Практически всех заказчиков интересуют энергосберегающие технологии, энергосберегающие решения для системы кондиционирования и холодоснабжения как второго главного потребителя в ЦОДе электроэнергии после собственно ИТ-оборудования.

В последнее время почти не осталось заказчиков, которые не требовали бы применения такого решения как «свободного охлаждения» (фрикулинга)  в той или иной форме. Многих интересует внедрение систем управления, призванных снизить расход электроэнергии на систему холодоснабжения. Также заказчиков очень интересуют энергоэффективные решения в области электроснабжения (это источники бесперебойного питания с высоким КПД, модульные источники, сложнозамкнутые топологии сетей распределения питания, повышающие загрузку ИБП в решениях со схемой резервирования N+1).

Часть заказчиков интересуется системами прямого охлаждения, прямого фрикулинга, работа в этом направлении идёт. С другой стороны, энергоэффективные решения часто требуют серьезных капитальных затрат на этапе их построения, внесения серьезных изменений в архитектуру существующих зданий, по этим причинам многие заказчики возвращаются к более классическим решениям.

Эффективность, которая обеспечивает снижение операционных затрат – дорого ли она обходится заказчикам?

Есть два уровня решений: классические и новаторские, инновационные.
Классические решения позволяют, несколько увеличивая капитальные затраты, достаточно серьёзно увеличивать показатели энергоэффективности (и снижать операционные расходы) традиционных систем.
 
Инновационные технологии и решения как правило требуют первоначальных вложений в разы больших, чем в случае классических решений. Приведу пример для систем охлаждения. Для ЦОДа мегаваттного класса, расположенного в климате Центральной России, классическая система холодоснабжения на чиллерной воде при внедрении ряда энергоэффективных решений (фрикулинг, переменный расход хладоносителя, повышенная температура хладоносителя, увеличенная разница температур хладоносителя на входе и выходе чиллера и др.) может дать среднегодовой коэффициент PUE порядка 1,23-1,3. При этом такие инновационные системы охлаждения аналогичной мощности как Kyotocooling (на основе роторных теплообменников – тепловых колес) или системы «прямого фрикулинга» на основе приточных установок дадут в московском климате выигрыш по среднегодовому PUE в единицы процентов по сравнению с такой «продвинутой» чиллерной системой. Стоимость же первоначальных затрат – в 1,5-2,5 раза больше. Стоит ли таких затрат итоговый чемпионский PUE – решать заказчику.

То есть вы вместе с проектом предоставляете расчеты расходов в средне-срочной перспективе?

Если заказчик этого требует – мы можем рассчитать и планируемые операционные расходы.

А разве есть заказчики, для которых это неважно?

Есть заказчики, которые считают экономику решения сами. У них есть собственное видение ЦОДа, которое мы должны воплотить в проекте, мы им нужны не столько как эксперты, сколько как проектировщики.

Бренды, которые будут использованы в этом решении, они тоже подбирают сами?

При необходимости мы можем применить в решении оборудование сторонних производителей, другое дело, что это нам менее интересно. С другой стороны, мы работаем не только с нашими верными заказчиками и партнёрами, предпочитающими только наше оборудование. Мы участвуем и в тендерах, конкурсах, где конкурируем с другими производителями и предоставляем плюсы нашего оборудования, и заказчик сам делает выбор. Он может предпочесть мультивендорное решение. Бывают случаи, когда мы вынуждены включать в проект оборудование стороннего производителя по требованию заказчика.

Но это оборудование всё равно профильное для вашей компании? У вас есть аналогичное оборудование?

Schneider Electric может предоставить основное оборудование практически для всех инженерных систем инженерной инфраструктуры ЦОДа, разве что за исключением дизель-генераторных установок и механической части систем пожаротушения. Грубо говоря, в пределе 80-90% (от общей стоимости сметы) оборудования инженерной инфраструктуры ЦОДа может быть поставлено Schneider Electric.

Что бы вы порекомендовали потенциальному покупателю ИТ-инфраструктуры ЦОД? Кроме того, что он должен быть Tier-4.

Я думаю, что ЦОД уровня Tier IV требуется далеко не каждой организации, он подразумевает ещё и соответствующую стоимость ресурсов ЦОД. Думаю, следует обратить внимание на следующие моменты: профессионализм команд, которые строили и обслуживают ЦОД, и доказательства его надежности.

А как это можно узнать? По каким признакам?

Один из вариантов — наличие сертификатов независимых экспертных организаций об уровне ЦОД, и уровне его эксплуатации. Например, от Uptime Institute.

Есть также иные системы сертификации, которые мало известны в России (например, рейтинги компании Syska Hennesy). У нас обычно говорят об Uptime.
 
Косвенным признаком надежности ЦОДов какого-либо оператора может являться его открытость: публикация технических характеристик площадок, информации о внедренных инженерных решениях, информации о планах развития. Открытость говорит об уверенности оператора в своих силах и в надежности инфраструктуры.

У вас есть сервисное подразделение, которое занимается аудитом. Ваши сертификаты являются подтверждением аудита и соответствием определённым параметрам?

Это не будет какой-то сертификат от Schneider Electric , это будет экспертное заключение, которое получит наш клиент и сможет показать его своим потенциальным заказчикам.  Мы не даём каких-то красивых бумажек, которые потом можно повесить на свой сайт, такого нет. Это – внутренний документ.
 
Еще мы рекомендуем потенциальному заказчику на инфраструктуру ЦОД выяснить, если компания-оператор предоставит такие данные, каков функционал у ЦОДа, что он может предоставить  по доступу к сети, будет ли там один провайдер или возможно подключение разных провайдеров. Следует посмотреть, где ЦОД находится географически, насколько он доступен с точки зрения транспорта, какие у него есть возможности по тестированию оборудования, по его временному хранению на объекте, какие есть варианты по обслуживанию оборудования.

Сейчас одним из новых направлений являются ЦОДы, которые предоставляют заказчикам условия с разными уровнями надёжности на одной площадке: могут быть залы по Tier-2 и по Tier-4, заказчику услуг такого ЦОДа это может быть удобно.  Часть оборудования он может разместить в более надёжной зоне, часть – в менее. Полезно будет узнать, предоставляет ли компания-оператор какую-то статистику по надёжности работы и доступности  его ЦОДов, или вся эта статистика – полностью закрытая. Есть ли на площадках круглосуточная дежурная смена, либо часть времени квалифицированный персонал на площадке отсутствует.

А  по инженерным системам существуют какие-то характеристики, которые говорят о надёжности ЦОД?

Косвенным подтверждением надёжности ЦОД может быть информация, которую может предоставить оператор по количеству вводов электропитания от города, наличию автономного источника энергоснабжения, информации о его резервировании. Каково время автономной работы дизель-электростанций ЦОД. Какова схема системы распределения питания. Насколько она зарезервирована. Насколько зарезервированы ИБП. Какое время работы ИБП от батарей.

Аналогично – по системе кондиционирования. Должна быть дана информация по схеме резервирования её основных компонентов: как зарезервированы чиллеры, как зарезервированы кондиционеры в залах, что сделано для предотвращения протечек. Должна быть дана общая информация по системам безопасности ЦОД,  наличии круглосуточной охраны. Обязательно должна быть круглосуточно дежурная смена.

Провайдер должен предоставить информацию, есть ли возможность по удалённому мониторингу заказчиком своего оборудования на объекте. Есть ли помещение и оборудование на объекте для работы сотрудников заказчика по настройке оборудования.
 
Конечно, даже самый «навороченный» и продуманный с инженерной точки зрения ЦОД может оказаться ненадежным при просчетах в организации и подготовки службы эксплуатации.

А что, на ваш взгляд, представляет собой в России рынок ЦОД сегодня? Я имею в виду его насыщение и качество. Растёт ли спрос, стабилизировался ли он – или его нет вообще. Как вы оцениваете ситуацию?

Я вижу, что на этом рынке появляются новые проекты и новые заказчики, появляются запросы на новые интересные, «продвинутые» инженерные решения. Для проектировщиков инженерных систем есть много интересной работы и какого-то спада не ощущается.

А есть ли разница для вас, как профессиональных проектировщиков, в том, какую бизнес – модель планирует использовать заказчик?
 
В инженерном смысле принципиальной разницы нет. Это лишь некоторые детали в большом техническом задании на объект. Например, это может отразиться в составе вспомогательных помещений. Возможно, это отразится на размере машзалов, на этапности ввода ЦОД в эксплуатацию, но эти вопросы обычно лежат в области решений заказчика, он сам должен решить, как он будет развивать свой ЦОД. Мы же исполним его требования в части архитектуры, в части электрики, холодоснабжения, инфраструктурных систем.

Правильно ли я понял, что рынок ЦОД в России ещё не насыщен, и есть серьёзный спрос?

Да, спрос есть, появляются крупные многомегаваттные проекты, при этом есть проекты не только в Москве и Петербурге, но и в регионах.

А есть разница между проектами в отдалённых регионах и проектами в московском регионе?

Разница, конечно, есть: это масштаб. Построить коммерческий ЦОД где-то в удалённом регионе – может быть, даже было бы выгодно в том, что касается стоимости земли или стоимости электроэнергии, или климата. И даже с обслуживанием проблема была бы решена, если речь идёт о городе с развитой промышленностью, наукой, оборонной промышленностью, с соответствующими инженерными кадрами. Другое дело – найдутся ли заказчики такого ЦОДа, кто повезёт в отдаленный регион своё оборудование? Многим заказчикам хочется иметь своё оборудование недалеко от себя, чтобы сотрудники могли иметь к нему достаточно лёгкий физический доступ без необходимости командировок. Позволить себе целую сеть ЦОД, разбросанную по стране, могут только крупнейшие операторы – «большая тройка» сотовых операторов, Ростелеком…
 
Облачные ЦОДы, в теории, – другое дело. Но пока таких проектов насколько я знаю немного. Такие ЦОДы, теоретически, могли бы размещаться в достаточно удалённых регионах, например, в той же Мурманской области, на Урале, где есть масса свободных площадок со своими электромощностями и хорошим (для ЦОД) климатом, возможностью найти обслуживающий персонал. Но при этом там пока особых движений по строительству крупных ЦОДов не видно.

Многие западные ЦОДы, особенно расположенные близко к российской границе, например – в Прибалтике, выходят со своими облачными услугами на российский рынок. А у нас нет тренда строительства ЦОДов и продажи вычислительных мощностей в другие регионы?

Большие ЦОД строятся в столицах и продают свои услуги по всей стране. Строительство ЦОД в Прибалтике и Финляндии, ориентированных на российских заказчиков – на мой взгляд, отражение удачной налоговой политики этих стран в отношении ИТ-компаний.

Но ведь у нас есть свободные экономические зоны. Наблюдается ли там всплеск роста ЦОДов?

Есть отдельные игроки, которые возводят ЦОДы в ОЭЗ. Например, можно вспомнить про такую компанию, как Radius Group с их ЦОД многомегаваттного класса в ОЭЗ «Зеленоград».

Отдельная тема – это технопарки: с 2008 года пошла волна их строительства, есть успешные проекты. Например, Саранский технопарк. Есть несколько затянувшиеся проекты, такие как технопарк «Жигулёвская долина» в Тольятти, который уже не первый год строится. Однако, ЦОД в технопарках ориентированы не столько для продажи для других регионов или стран, сколько для обслуживания резидентов этих площадок.

Илья, большое спасибо.