Оптимизация хранения данных

Аналитики IDC предсказывают, что объем данных увеличится на 50% к концу 2012 года. Такой рост обусловлен следующими факторами:

• Все больше контента создается и хранится в электронном виде. Дополнительно медиафайлы увеличиваются в объемах из-за улучшений  в видеотехнологиях.
• Усиливающийся процесс глобализации экономики подстегивает необходимость общения между коллегами, партнерами и вендорами, разбросанными по всему миру, что увеличивает объем хранимой и передаваемой информации.
• Изменяющиеся правила, законы, управление, поддержка судебных дел и бизнес-операций, а также разработки продуктов требуют длительного хранения данных.
• Системы восстановления и катастрофоустойчивости требуют репликации данных, чтобы в случае форс-мажорных обстоятельств бизнесу не был нанесен ущерб.

В большинстве дата-центров 70% создаваемых данных хранятся и поддерживаются, но никогда не используются. Не вся такая неиспользуемая информация стара или бесполезна, но хранение таких данных в хранилищах высокого класса обходится очень дорого. Предприятия любого размера пытаются найти простой и доступный путь сохранения данных, оптимизируя свои расходы.

4 шага к достижению эффективности хранения данных

Эффективность системы хранения данных – это не виджет, который каждый может купить, это повторяющийся процесс, в ходе которого организация оценивает эффективность использования своих ресурсов и улучшает ее путем введения изменений или более грамотного использования технологий.  Ниже представляем четыре шага, с помощью которых можно оптимально потратить время и деньги на проект:

• Очень сложно принять решение о данных, не зная, какую ценность эти данные представляют для организации. Бизнес-отделы, юристы и менеджеры хранилища данных вместе должны решить, какую информацию хранить, где и как ее использовать, а также, какие бизнес и законодательные требования предъявляются к хранению той или иной информации. Эта команда вырабатывает политики, которые помогут определить, что необходимо,  избавиться от ненужной информации, и как хранить нужную.
• Приведите в соответствие существующие ресурсы хранения данных с потребностями приложений по объему, производительности, доступности и надежности.  Не допускайте перегрузки или недогрузки хранилищ иначе пострадает продуктивность. Дополнительно разверните систему распределения данных, чтобы удовлетворить необходимость в изменении доступа к информации и ролей данных в будущем.
• Внедрите технологии оптимизации хранилища, чтобы избежать покупку дополнительного места и более эффективно использовать уже существующее. Эти технологии включают thin provisioning, single instancing, дедупликацию данных и сжатие.
• Дизайн инфраструктуры и развертывание систем защиты информации и катастрофоустойчивости должны отражать требования бизнеса к сохранению данных. Убедитесь в том, что должным образом исполняются политики и вовремя выделяются ресурсы хранилища.

Интеллектуальные системы хранения данных — Tiers

Существует два типа tiers для организации хранения данных, основанных на различных параметрах. Первый – основан на требованиях программного приложения и создан удовлетворять потребности приложений, которые записывают информацию в хранилище, или  считывает и обрабатывает эти данные. Второй тип основан на параметрах самых данных, таких как изменение доступа, изменение значимости информации со временем. Данные перемещаются на второй тип хранилища без ущерба для пользователя или приложения. Этот tier часто называют еще tier внутри tier,  и он служит просто складом неактивной информации или тех данных, что должны быть доступны, но запрашиваются не очень часто. Принятия решений для двух разных типов независимы, хотя могут определяться теми же политиками.

Tier, основанный на требованиях приложений

Этот tier обычно определяется параметрами, которые отвечают требованиями данного приложения. Если приложение требует высокую скорость реакции, то установка более медленного хранилища сильно повлияет на работу всей системы и может обернуться потерей денег. Соответственно, развертывание более быстрого хранилища там, где не требуется, может повысить затраты на ресурсы. Каждый tier, основанный на требованиях приложения, может отвечать разным требованиям: доступности (FC, iSCSI, NFS, or CIFS), типа дисков (FC, SAS, SATA), надежности (RAID 1, 10, 5, 6) и доступности (multipathing, redundant controllers).

Tier внутри tier

Как только приложение создает информацию, она начинает свой жизненный цикл. За это время ее ценность может снизиться, а доступ к ней – измениться, могут смягчиться требования к скорости ее потребления. Хранение этих данных в том же хранилище, где хранится более восстребованные данные, может сказаться на стоимости всей системы. Поэтому менее восстребованные данные можно перенести в хранилище более низкого уровня. Но главная загвоздка в том, чтобы во время определить и правильно перенести данные в другое хранилище: автоматически и незаметно, не потеряв связи внутри приложения и доступности данных для пользователя. Ниже предложено четыре способа, как этого можно достигнуть:

• У некоторых приложений есть встроенная возможность, позволяющая администраторам рассортировывать информацию по tier, стоит ею воспользоваться.
• HSM – это ПО стороннего производителя, которое двигает файлы на другой уровень хранения, основываясь на таких характеристиках файла, как возраст, размер и тип. А чтобы пользователи и приложения не потеряли перенесенную информацию, на ее месте остается ссылка на новое местоположение искомого.
• Эффекта «tier внутри tier» можно добиться, внедрив виртуализацию хранилища. Согласно этому сценарию, один объем может содержать хранилища разных tier, и данные мигрируют по этим хранилищам согласно частоте использования этих данных.
• Единая файловая система также может управлять файлами, находящимися в разных хранилищах, представляющие разные tiers. Такая файловая система, перемещая файлы, не нуждается в ссылках на новое местоположение данных и не влечет за собой никаких последствий такого переноса для пользователей или ПО.

Во всех четырех вариантах перенос данных необходим для оптимизации взаимодействия приложений, данных и ресурсов хранилища.

Преимущества tiers

 Есть два основных преимущества использования tiers . Во-первых, подходящее хранилище позволяет приложениям продолжать работу. Во-вторых, хранилище, соответствующее потребностям, сокращает стоимость владения. Внедрение tiers упрощает управление данными и оптимизацию использования хранилища и облегчает предоставление ресурсов для решения бизнес задач.

Описание продукта

BlueArc SiliconFS предоставляет высокопроизводительный и высоконадежный файловый сервис для приложений и конечных пользователей. Файловая система позволяет использовать данные технологии оптимальным способом. Ниже описаны ключевые области применения данной системы:

• Систему можно сконфигурировать несколькими способами. Можно разместить несколько файловых систем на одном сервере, каждая будет представлять разные классы хранилищ данных, позволяя бизнес-подразделениям и владельцам приложений напрямую определять необходимые характеристики хранилища. В то же время несколько файловых систем, могут охватывать несколько серверов, упрощая использование, повышая масштабируемость и надежность хранения данных.
• Каждая файловая система на сервере может представлять разные пулы хранилищ, позволяя администраторам определять политики для размещения данных. Используя приложение BlueArc Data Migrator™ можно незаметно для пользователей и приложений переносить данные между tiers. Используя Using Cross Volume Links™ вместе с Data Migrator, можно использовать более старую систему хранения как дополнительный tier.
• Данные должны быть защищены в зависимости от  их ценности для предприятия. SiliconFS поддерживает несколько опций сохранения и восстановления данных, что позволяет менеджерам определять уровень гибкости и восстанавливаемости.

Один способов, которые позволяют хранить данные более эффективно и при этом максимально использовать ресурсы хранилища, реализуется именно посредством применения tiers. BlueArc’s SiliconFS позволяет автоматизировать  процесс перенесения данных в дополнительное хранилище без ущерба для приложений и пользователей, при этом не создавая дополнительных сложностей.

SiliconFS позволяет создать архитектуру tiers с помощью двух ключевых опций: Data Migrator и Cross Volume Links. Но сначала нужно сконфигурировать tiers с помощью самого SiliconFS.

Каждый tier хранилища, не зависимо от  типа устройств (FC, SAS, or SATA), подключенных к утилите для работы с файловой системой, можно сконфигурировать в один или несколько пулов хранения. Внутри каждого пула можно создать файловые системы, которые будут служить источником или целью перемещения данных. Обычно файловая система первого tier создается как активная или источник,  а система второго tier обычно создается как целевая файловая система.

Когда приложение создает данные, они записываются в активную файловую систему. Менеджер хранилища может определить политики для переноса данных на второй tier автоматически. Параметров, которые инициируют такой перенос, может быть несколько, включая весьма стандартные характеристики файла: возраст, размер, тип, владелец и дата последнего обращения. Как только все эти параметры совпадают с  описанными в  политиках, Data Migrator переносит файлы на второй tier, оставляя на его прежнем месте файл-ссылку. Созданные политики могут быть активированы триггерами (например, заполнение хранилища на 95%), или выполнятся регулярно в указанное время, а также активироваться вручную администратором.

Файл-ссылка переадресует пользователя, запрашивающего данные к месту новой локации искомого. Файл-ссылка, созданный SiliconFS, включает в себя дополнительную информацию по файлу, которая позволяет ознакомиться с некоторыми параметрами данных, не извлекая их. Это оптимизирует работу пользователя с данными и делает ее более прозрачной.

Когда Data Migrator переносит файл, это происходит через SAN. Файловые системы, представляющие разные tiers, находятся внутри сервера и соединены с разными пулами хранилища через SAN. Это особенно удобно, когда LAN перегружен, или нужны более активные операциии. 

BlueArc не ограничивает привязку хранилищ к  файловым системам только внутри одного шлюза. Можно также использовать как tier другие системы или хранилища. Cross Volume Links позволяет обращаться ко внешнему хранилищу через NFS и пользоваться ими как вспомогательным tiers. Это позволяет  использовать более старые системы и тем самым защищает уже сделанные инвестиции в хранение данных.  Приложение не знает, что данные переместили в другое NFS, поскольку такое передвижение не отражается на его работе.

Перенос данных в другие хранилища – это сложная задача, но защита данных, как активных, так и дополнительных может оказаться даже более сложной задачей.  Многие приложения, производящие бакап данных, архивируют данные вместе с файлами-ссылками.  Поэтому, после восстановления данных нужно проверить, действительны ли еще эти ссылки. Только после такой проверки вы сможете воспользоваться этими  данными. Но при этом, дополнительный tier тоже надо заархивировать, чтобы его данные были доступны после восстановления. Это создает сложности как в момент архивации, так и в момент восстановления. SiliconFS позволяет решить эту проблему тремя приемами:

• Администратор может выбрать бакап только активной файловой системы. Это позволяет сделать бакап быстрее и эффективнее. Бакап дополнительной файловой системы может выполняться независимо от активной системы и реже, например, после каждого переноса файлов.
• Можно сделать полный бакап файлов, включая дополнительную систему. Это будет означать полный образ всех директорий, используемых приложениями и пользователями.
• Во время восстановления, система все еще «помнит», какие файлы были перенесены. Во время восстановления все файлы пишутся в активную файловую систему, но, «помня» о переносе отдельных данных, система перемещает их в дополнительное хранилище, чтобы основная не переполнялась.  Это – ключевое отличие, которое позволяет этому приложению использовать  преимущества tiers без дополнительного усложнения процесса управления системой.

При использовании SiliconFS объем хранилища данных используется оптимальнее, с опорой на нужды приложений,  и изменяющиеся характеристики данных по мере их жизненного цикла. Использование tiers ведет к оптимизации расходов на эксплуатацию системы, места в дата-центре, и энергопотреблении – это ключевые параметры работы любого хранилища данных.

Проблемы рынка

Рынок хранилищ данных, основанный на файловых системах, продолжает расти и изменяться, и решения для хранилищ данных  изменяются в соответствии с требованиями приложений.  Для вендоров самое сложное – найти нишу на рынке приложений и решений для хранилищ данных, где они могли бы выделиться и превзойти своих конкурентов довольно надолго. Очень сложно выделить для себя приоритетную область (ведь нельзя объять необъятное), но чтобы преуспеть, это нужно сделать. Распределение данных по tiers – опция, которую ценят потребители разных сегментов рынка, но только этого недостаточно. Весь пакет должен отвечать большинству требований своего сегмента рынка, но его основные функции должны стать стандартными с течением времени.

Заключение

Эффективно использовать хранилище данных, к сожалению, довольно сложная , но решаемая задача.  Организации должны правильно расставить приоритеты и начать с самого начала – с изучения того, как и где хранится информация, и какую ценность для предприятия она представляет и как эта ценность меняется со временем. И отталкиваясь от этого знания, администраторы хранилищ могут принимать решения о том, какие технологии использовать, чтобы достичь цели.   Некоторые технологии уже доступны для большинства хранилищ, например  thin provisioning. А, скажем, такие технологии, как эффективное использование tiers – распространены меньше.   Эти технологии, вкупе с правильным исполнением установленных политик, помогут организациям сэкономить большие деньги на системе хранения данных и операционных расходах. Использование tiers позволит сэкономить на покупке систем хранения и эксплуатации систем хранения, а также энергопотреблении и обслуживающем персонале. Достижение эффективности – это процесс, а не результат.

Подготовлено НП «СОДЕЙСТВИЕ»