USD 92.26 ЕВРО 99.71

Централизация серверов оперативной обработки данных на платформе Microsoft SQL Server в компании «Татнефть»

Технологии

24.12.12

Центтрализация  серверов оперативной обработки данных на платформе Microsoft SQL Server в компании «Татнефть»

ТАТНЕФТЬ: Переход к платформе Microsoft позволяет реализовать более эффективные и качественные ИТ-решения для нашего бизнеса.

Для компании «Татнефть» ключевым ИТ-решением является корпоративная
информационная система АРМИТС (автоматизированные рабочие места
инженерно-технологической службы), которая развивается с начала 90-х годов.
Система охватывает все бизнес-процессы компании, связанные с добычей
нефти. В 2011 году компания перешла от распределенной к
централизованной архитектуре КИС АРМИТС, консолидировав серверы оперативной
обработки данных на единой платформе Microsoft SQL Server.
 Это
позволило значительно снизить затраты на администрирование и эксплуатацию
оборудования и программного обеспечения, задействованных в корпоративной
системе.Сейчас в «Татнефти» идет опытная эксплуатация хранилища данных
на базе архитектуры Microsoft FastTrack
, которое позволит
выделить историческую информацию из оперативной базы данных, собрать в едином
хранилище все данные, накопленные за более чем 50 лет работы компании, и
выстроить на этой основе углубленный анализ деятельности «Татнефти» для
принятия обоснованных решений.

О компании

«Татнефть» — одна из крупнейших отечественных нефтяных компаний, на ее долю
приходится около 8% всей добываемой нефти в Российской Федерации и свыше 80%
нефти, добываемой на территории Татарстана. В состав группы «Татнефть» входят
производства по добыче и переработке нефти и газа, нефтехимические
производства, предприятия по реализации нефти, газа, нефтегазопродуктов и
нефтехимии.
Основная ресурсная база компании исторически расположена на территории
Республики Татарстан, однако «Татнефть» последовательно реализует стратегию
эффективного наращивания запасов и расширения территории своего присутствия за
пределами РФ. Так, в 2010 году «Татнефть» начала промышленную добычу нефти в
Сирии. Среди приоритетных задач компании — развитие нефтегазоперерабатывающих и
нефтехимических мощностей, расширение рынков сбыта нефти, газа, нефтехимической
продукции, дальнейшее развитие собственной сети АЗС. В своем развитии
«Татнефть» делает ставку на эффективное использование ресурсов, оптимизацию
управления и производственных процессов. Производственная деятельность компании
отвечает высоким стандартам экологической и промышленной безопасности.

Ситуация

Ключевым ИТ-решением для бизнеса компании «Татнефть» является корпоративная
информационная система АРМИТС (автоматизированные рабочие места
инженерно-технологической службы). Как рассказывает Айрат Асафьевич
Хуснутдинов, заместитель директора Инженерного центра по инновационному
развитию, разработка системы была начата еще в 90–91-м годах, и за прошедшие
более чем 20 лет КИС АРМИТС активно развивалась и совершенствовалась. В
настоящее время система охватывает все ключевые бизнес-процессы компании,
связанные с добычей нефти: с ней работают практически все структурные
подразделения и службы «Татнефти». Ее пользователями, численность которых
достигает 3,5 тыс. человек, являются специалисты самых разных уровней и
профилей — от работников цехов добычи до топ-менеджмента компании.
Основной задачей КИС АРМИТС является учет и анализ потоков жидкости из скважин
при нефтедобыче. Система собирает большие массивы данных от АСУТП и систем
телемеханики непосредственно в цехах добычи нефти и позволяет на основе их
анализа определять ключевые плановые показатели работы компании. Как отмечают
специалисты, эффективная реализация подобных ИТ-решений сегодня является
обязательным условием нормальной работы и залогом конкурентоспособности
нефтедобывающих предприятий.
С самых первых дней своего существования КИС АРМИТС строилась на базе
технологий компании Microsoft. По словам Айрата Асафьевича, вначале система
существовала в виде объединенных с помощью локальной сети автоматизированных
рабочих мест для разных категорий специалистов — технологов, геологов,
диспетчеров, которые могли совместно работать с данными, размещенными в СУБД
FoxPro. «Нашей команде разработчиков удалось с самого начала создать систему,
которая позволяла этим трем различным службам совместно работать с информацией,
— отмечает Айрат Асафьевич Хуснутдинов. — Решение оказалось очень удачным, люди
достигли видимого эффекта от такой работы. Это позволило системе получить
всемерную поддержку руководства компании». В конце 90-х новая версия КИС АРМИТС
была постепенно переведена с уровня отдельных цехов на уровень
нефтегазодобывающего управления (НГДУ) с размещением единой базы данных НГДУ на
специальном сервере. В 2003 году было принято решение о развертывании системы в
масштабах всей компании на основе тех наработок, которые были сделаны в
отдельных НГДУ. 
В результате сложилась распределенная архитектура КИС АРМИТС, объединяющая
серверы баз данных девяти НГДУ компании «Татнефть». В общекорпоративной версии
системы использовалась СУБД Microsoft SQL Server.
«Моим принципиальным выбором стали именно технологии Microsoft в
качестве основы нашей корпоративной системы. Многие тогда говорили, что надо
переходить на Unix-серверы, однако уровень задач, которые мы решали, не
предполагал наличия большой команды технических специалистов по сопровождению,
без которой было бы не обойтись в случае работы с Unix-платформой. Нам было
необходимо строить систему таким образом, чтобы минимизировать затраты на
поддержку, и СУБД Microsoft в этом отношении полностью соответствовала нашим
запросам», — подчеркивает Айрат Асафьевич.

Кроме того, все настольные компьютеры в компании работали под управлением ОС
Windows, а для создания новых решений использовались средства разработки
Microsoft. Выбор SQL Server в качестве платформы КИС АРМИТС позволял создать
наиболее гармоничную, бесконфликтную ИТ-среду в компании. 
Надежность и стабильность работы SQL Server без серьезных усилий со стороны
ИТ-специалистов и нацеленность Microsoft на поддержку крупных корпоративных
решений с помощью своего продукта давали основание специалистам «Татнефти» быть
вполне довольными выбранной платформой. Однако со временем сама распределенная
архитектура КИС АРМИТС стала тормозить развитие системы, затрудняя расширение
ее функциональности на новые подразделения и исполнительный аппарат компании,
поддержку все возрастающего числа пользователей, решение все более сложных
аналитических задач на основе данных, собираемых в разрозненных СУБД. Были и
определенные технические проблемы: для нормальной работы системы структура баз
данных на всех серверах должна быть идентичной, но за время эксплуатации в
схемах баз данных появились расхождения из-за того, что некоторые модификации
таблиц и индексов делались вручную. Возникла настоятельная потребность перехода
от распределенной к централизованной платформе в масштабах всей компании.

Решение

Процесс перевода корпоративной системы «Татнефть» на новую централизованную
платформу проходил в два этапа: на первом была выполнена консолидация
оперативных баз данных НГДУ, а на втором построено единое хранилище
исторических данных компании.

Логическая схема взаимодействия оперативной части и хранилища FastTrack DWH «АРМИТС»
Рисунок 1. Логическая схема взаимодействия оперативной части и
хранилища FastTrack DWH «АРМИТС»

 

Айрат Асафьевич Хуснутдинов рассказывает, что проработка вопросов
формирования единой базы данных КИС АРМИТС началась в 2008 году. Проект по
консолидации серверов баз данных был реализован с конца 2010-го по февраль 2011
года силами консультантов Microsoft Consulting Services (MCS) при активном
участии ИТ-специалистов «Татнефти». В рамках проекта в центре обработки данных
компании развернута отказо-устойчивая конфигурация из четырех серверов HP
ProLiant, на базе которой работает СУБД SQL Server 2008 R2 Data Center.
Заложенная в новую архитектуру системы отказоустойчивость оборудования и ПО
гарантирует стабильную работу единого сервера баз данных в круглосуточном
режиме.Одной из наиболее важных задач проекта по консолидации баз данных КИС
АРМИТС было сохранение высокой производительности системы.
«“Лицо” нашей системы — это быстрота обработки и отображения
информации, и мы ни в коем случае не хотели его терять», — подчеркивает
Айрат Асафьевич.

Однако более чем девятикратное увеличение объема обрабатываемых данных на одном
сервере вызывало серьезные опа-сения по поводу того, что производительность
системы снизится. Нагрузочное тестирование, в ходе которого имитировалась
реальная нагрузка в новых условиях, показало, что на новой платформе система
сможет обслужить с неизменным уровнем производительности около 1,5 тыс.
пользователей, что более чем в два раза меньше их реального числа.
Потребовалась определенная оптимизация кода, чтобы сохранить нужный уровень
производительности в условиях постоянной работы активных пользователей системы
(около 2,5 тыс. человек). И после завершения консолидации продолжилась работа
по оптимизации настроек единой базы данных и запросов к ней со стороны системы
для обеспечения надлежащей производительности. Снижение быстродействия
обработки данных на консолидированной платформе выявило недостаток прежнего
подхода к организации данных в системе — накопление исторической информации в
оперативной базе данных.
«Эти данные стали пудовыми гирями для системы, снижая скорость
обработки оперативных запросов», — рассказывает Айрат Асафьевич
Хуснутдинов.

Однако, с другой стороны, накопленные в системе за более чем десятилетний
период различные производственные показатели, связанные с производительностью
нефтяных пластов, представляют собой ценнейшую информацию для углубленного
анализа и принятия стратегических решений. Более того, компания хранит в
различных форматах исторические данные, накопленные с самых первых лет ее
существования — с 50-х годов прошлого века. По классической схеме историческая
информация должна быть отделена от оперативной и размещена в хранилище данных,
оптимизированном для выполнения аналитических задач по обработке данных. В ходе
проекта по консолидации баз данных специалисты предложили техническое решение
по реализации хранилища данных на базе архитектуры Microsoft FastTrack Data
Warehouse.
«Нас очень привлекла эта идея, — в том числе и потому, что в
предложенном решении аппаратная платформа и программное обеспечение в комплексе
настроены именно на задачи хранения и обработки исторической
информации», — отмечает Айрат Асафьевич.

Microsoft FastTrack Data Warehouse представляет собой эталонную архитектуру
программно-аппаратного комплекса, оптимизированную с точки зрения
производительности для реализации хранилищ данных. Microsoft предлагает своим
заказчикам протестированные конфигурации, построенные в соответствии с этой
архитектурой на базе СУБД SQL Server и серверов ряда производителей, включая
HP, Dell и IBM. Компания «Татнефть» использует решение с оборудованием HP и
емкостью хранения до 6 Тбайт с возможностью расширения до 12 и даже 48
Тбайт. Помимо самого хранилища, в «Татнефти» разворачиваются
аналитические сервисы на основе инструментов Microsoft SQL Server 2012
Reporting Services, Microsoft SQL Server 2012 Analysis Services, Microsoft
Office SharePoint Server 2010 (MOSS) и MOSS PowerView,
 которые
предоставят возможности доступа, визуализации и эффективной аналитической
обработки информации как из оперативной базы данных, так и из хранилища.
Специалисты MCS уже подготовили для «Татнефти» ряд аналитических отчетов, в
частности, для отслеживания в динамике показателей добычи нефти на различных
скважинах.

Анализ добычи нефти в динамике
Рисунок 2. Анализ добычи нефти в динамике

Выбор отчета из панели
Рисунок 3. Выбор отчета из панели

Панель отчетов
Рисунок 4. Панель отчетов

 

Проект по созданию хранилища данных был начат весной 2012 года, а в июле
систему передали специалистам «Татнефти» в опытную эксплуатацию.
«Сейчас мяч на нашей стороне. Хранилище построено, и теперь мы
должны понять, какую информацию туда загружать и как ее использовать. Мы
рассматриваем хранилище как основу для формирования эффективной
бизнес-аналитики. Большие объемы информации фактически лежали в компании
мертвым грузом, но теперь, благодаря технологиям Microsoft, мы получаем
возможность опираться на них в выработке стратегических решений, важных для
развития нашего бизнеса», — говорит Айрат Асафьевич
Хуснутдинов.

В компании рассчитывают, что работы по наполнению хранилища и формированию
аналитических приложений будут завершены к концу 2012 года, после чего система
может быть переведена в промышленную эксплуатацию.

Преимущества

Айрат Асафьевич Хуснутдинов отмечает, что консолидация серверов баз данных КИС
АРМИТС на стандартной программно-аппаратной платформе обеспечила компании
большой выигрыш с точки зрения обслуживания системы.
Замена девяти серверов одним отказоустойчивым кластером в центре обработки
данных позволила значительно снизить затраты на администрирование и
эксплуатацию оборудования и программного обеспечения. Это означает также, что
теперь, используя систему, ИТ-специалисты смогут более оперативно реагировать
на потребности производственных подразделений компании.
Новая архитектура КИС АРМИТС с единым сервером оперативной обработки данных, и
созданное выделенное хранилище исторической информации реализуют классический
подход к обработке данных, признанный наиболее эффективным в международной
практике. «Такая схема прописана в учебниках, однако далеко не всегда ее
удается реализовать на деле, — замечает Айрат Асафьевич Хуснутдинов. —
Надеемся, что с успешным завершением проекта по формированию хранилища данных у
нас это получится в полной мере».
Единое корпоративное хранилище обеспечит полноту и непротиворечивость
информации в рамках всей компании и позволит формировать разнообразную
отчетность для поддержки принятия решений. Максимальная сбалансированность
архитектуры Microsoft FastTrack, основанной на стандартных программных и
аппаратных компонентах, поможет делать это с высокой производительностью и
эффективностью и в то же время с минимальными затратами на сопровождение и
обслуживание.
Айрат Асафьевич Хуснутдинов рассчитывает, что использование хранилища, которое
консолидирует важные данные за более чем полувековую историю компании,
предоставит возможности углубленного анализа деятельности «Татнефти» и
выявления закономерностей и тенденций, что, в свою очередь, позволит
прогнозировать развитие компании и заранее принимать меры в случае
возникновения неблагоприятных для бизнеса ситуаций.

Результаты внедрения решения:

Первый этап (консолидация девяти БД НГДУ):

  1. Многократно сократилось время, затрачиваемое на построение сводной
    отчётности по всем консолидированным НГДУ.
  2. Повысилась доступность консолидированной оперативной части системы АРМИТС
    до 99,9% (допустимый простой до 8.76 часов в год) за счет внедрения 4-узлового
    SQL кластера.
  3. Уменьшилась нагрузка на CPU с 70 до 35% в среднем в рабочие часы, что
    позволило обеспечить запас производительности при прохождении пиковых
    нагрузок.

Второй этап (построение хранилища данных):

  1. Существенно разгружена оперативная часть АРМИТС за счет «вынесения»
    нагрузки по построению BI-отчетности на уровень хранилища данных DWH.
  2. Внедрена платформа для построения и регламентированного доступа к
    аналитическим отчетам с использованием привычных пользователям интерфейсов
    Excel и портала SharePoint 2010 SP1.
  3. Создана возможность динамического управления загрузкой данных (ETL
    процессы) на уровень хранилища DWH, включая подключения и загрузку данных из
    разных источников.

Программное обеспечение

  • SQL Server 2008 R2
  • SQL Server 2012
  • FastTrack Data Warehouse 3.0
  • Office SharePoint Server 2010
  • SQL Server Reporting Services 2012
  • SQL Server Integration Services 2012
  • SQL Server Analysis Services 2012
  • MOSS Excel Services 2012
  • MOSS PowerView 2012