По мере развития бизнеса в компании сильно выросло количество файловых серверов, с терабайтами дискового пространства (Рис. 1), что в итоге привело к неэффективному и сложному управлению данной инфраструктурой. Все приложения в компании и файловые сервера напрямую подключаются к дисковым системам (подключение DAS), что в свою очередь приводит к низкой производительности хранилища, с перегрузками в моменты пиковых нагрузок, затратам связанным с выделением дополнительного места под оборудование, а также высоким затратам на электроэнергию и охлаждение.
В то же самое время в случае необходимости добавления дополнительного объема или увеличения производительности необходимо добавить новые приложения или файловые сервера, тем самым еще больше усложняя управление инфраструктурой. Компания на текущий момент имеет 5ТБ данных распределенных между файловыми серверами, Exchange серверами и двумя SQL серверами. Каждый сервер в среднем содержит около 500ГБ данных. Каждая файловая система рассчитана с запасом на 100%-ый рост и развертывается на внутренних SATA дисках объемом 1ТБ.
Большие объемы неиспользуемого дискового пространства
Компания на данный момент теряет 50 процентов от общего дискового объема (5ТБ данных хранится на 10ТБ дисковом пространстве). Это приводит к пропорциональным потерям на электроэнергию и охлаждению в серверной. Текущее дисковое пространство также теряется засчет хранения множества копий идентичных файлов.
Место выделенное под будущий рост нельзя перераспределить между системами
Дисковое пространство, выделенное под дальнейший рост, равномерно распределено между всеми системами, и не может быть перераспределено между системами, если реальный рост объема данных не совпадет и ожидаемым. Запас в 100 процентов берется исходя из наихудшего варианта, поскольку достаточно трудно точно предсказать уровень роста.
В то время как некоторые данные на одних системах растут относительно медленно, другие будут испытывать достаточно сильный рост; и, к сожалению, место, выделенное под системы со слабым ростом нельзя перераспределить для систем с быстрым ростом.
Единая производительность и цена системы хранения
Доступен только один тип дисков, таким образом нет возможности увеличить производительность хранилища для данных с частым доступом, а также снизить затраты на электричество и охлаждение для статичных данных.
Распределенное и ручное администрирование
Каждый файловый сервер, а также серверы Exchange и SQL требуют отдельного администрирования. Для этого требуются множество навыков и практического опыта, из-за различия в файловых архитектурах и приложениях. Также необходимо в отдельности наблюдать за дисковым пространством каждого сервера. В том случае если сервер достигает лимита в 1ТБ, администратору необходимо мигрировать данные на другую систему, с большим количеством дисков(общим объемом) или установить диски большего объема на данную систему и заново воссоздать или расширить текущую файловую систему. Данные операции в свою очередь приводят к простоям в работе серверов.
Итого:
Развернутая инфраструктура:
Проблемы:
Цель увеличения эффективности хранения данных состоит в том, чтобы снизить затраты связанные с ростом объемов данных, потреблением электроэнергии и администрированием системы хранения. Функциональность, которую необходимо внедрить включает: различные типы дисков(включая различную цену на данные диски), производительность, характеристики по энергопотреблению, утилиты автоматизированного управления, которые обеспечивают выделение ресурсов по требованию(provisioning) на системе хранения, мониторинг и расширение файловой системы. Данное решение также включает дедупликацию, на основе различных политик, которая минимизирует пространство занимаемое данными в автоматическом режиме.
Соответствие характеристик данных характеристикам дисков
Поддержка различных типов дисков, которые различаются по цене, производительности и потреблению электроэнергии. Поддержка включает в себя следующие типы дисков: SAS и SATA диски. На практике не ко всем данным предъявляются одинаковые требования по производительности. Так более старые файлы обычно модифицируются реже, чем более новые файлы. Файлы, доступ к которым происходит менее часто, имеют меньшие требования к производительности в отличие от файлов доступ, к которым происходит достаточно часто.
Основное правило заключается в том, чтобы характеристики файлов соответствовали характеристикам дисков.
Минимизация потерь дискового пространства
Storage pools
Более эффективным способом выделения дискового пространства для будущего роста является выделение единого пула в качестве источника дополнительного дискового объема для группы файловых систем. Файловые системы, которые не требуют дополнительного дискового пространства, остаются неизмененными и, таким образом, у нас выделяется больше места, под системы, которым требуется больше дискового пространства.
Автоматическое расширение дискового места
Концепция пула полагается на возможность роста или расширения файловой системы, в то время как объем хранилища достигает выделенного под него места.
Выделение ресурсов по требованию (Virtual Provisioning)
Устанавливается верхняя граница того дискового места, которое можно выделить файловой системе с помощью функции автоматического расширения. Данная граница представляет собой размер потенциально возможного дискового места, которое будет занимать файловая система. Таким образом, данная функция позволяет системному администратору выделять дисковое пространство по требованию, резервируя место под потенциальный рост, в то же время, экономя текущее дисковое пространство.
Дедупликация
Дедупликация — экономия дискового пространства путем замены множественных копий дублирующихся файлов одним файлом.
Реализация проекта
Существующие проблемы предлагается решить путем внедрения системы хранения данных EMC Celerra NX4, в совокупности с технологиями виртуализации компании VMware (Рис 2). Все системы хранения, подключенные напрямую, хранящие в независимости файлы или блочные данные, можно заменить на СХД Celerra NX4 (в нашем случае) или на системы Celerra, более старших моделей. Данное решение позволяет высвободить файловые серверы для реорганизации, т.к. они заменяются Х-Блейдами Celerra NX4, простым подключением к локальной сети. Используя технологии виртуализации компании VMware, другие сервера приложений переносят в виртуальную среду, что также высвобождает часть оборудования. Благодаря возможности подключений по iSCSI и FC СХД Celerra NX4 мы получаем высокоскоростные соединения с серверами ESX. В частности производительные сервера Exchange и SQL, подключаем по протоколу Fibre Channel для обеспечения максимальной производительности. Вторичные сервера, которые также были виртуализированы, были подключены используя текущую сетевую инфраструктуру по протоколу iSCSI.
Используя в совокупности технологии VMware и Celerra, а также консолидацию систем хранения, требования к расширению серверных мощностей и системы хранения данных предъявляются независимо друг от друга. Таким образом улучшается использование, доступность, возможности по резервному копированию, тем самым снижая затраты, связанные с управлением и масштабированием.
Минимизация потерь дискового пространства путем разделения невостребованного дискового объема
Создание файловой системы на основе разделяемого пула на СХД позволяет компании минимизировать дисковое пространство, зарезервированное под будущий рост данных, в то же самое время позволяет иметь возможность для достаточно интенсивного роста данных для части файловых систем. Например, вместо того чтобы резервировать 50 процентов дискового пространства под будущий рост мы можем снизить данный порог до 25 процентов из-за разницы в скорости роста объема данных т.к. данные будут распределены по всей файловой системе. Выделение ресурсов по требованию (Virtual Provisioning), позволяет клиентам видеть общий потенциальный объем файловой системы(тем не менее дополнительный, экстренный объем не будет выделен под файловую систему, если не настроена функция автоматического расширение).
Файловые системы, для которых трудно предсказать рост, могут использовать функцию автоматического расширения, без ограничения максимального размера, и таким образом, любое необходимое дискового пространства будет выделено по требованию. Поскольку все файловые системы в общем пуле могут получить доступ к новому дисковому пространству добавляемому к пулу, дополнительный рост объема данных не требует миграции данных или других затрат на администрирование.
Минимизация текущего дискового пространства, используя дедупликацию
Каждая файловая система может высвободить часть занимаемого дискового пространства(которое в дальнейшем можно использовать под будущий рост), используя дедупликацию статических данных. Для большинства данных дедупликация сократит объем занимаемого на хранилище пространства на 30-40 процентов,что в реальных цифрах составляет от 1.5ТБ до 2ТБ. С течением времени эта цифра остается неизменной (в процессе того как добавляются новые данные, соответствующая их часть, актуальная на текущий момент, становиться статической). Дедупликация также сокращает количество требуемого объема в будущем на 30-40 процентов.Это таким образом снижает количество дополнительного дискового пространства зарезервированного под дальнейший рост.
Настройка соответствия ценовых характеристик СХД и характеристик производительности, используя разбиение данных по уровням
Поскольку не все данные имеют одинаковые требования по производительности, компании следует привязать тип хранилища, используемого для той или иной файловой системы, к требованиям по производительности предъявляемым к данным. Данное требование выполняется путем создания определенных пулов, объединяющих диски и типы RAID имеющих соответствующие ценовые характеристики и параметры производительности( например пул состоящий из RAID 10 SAS дисков, пул из RAID 5 SAS дисков, RAID 6 созданный из маломощных SATA дисков и т.д.) В нашем случае мы рекомендовали расположить виртуальные машины с серверами SQL на дисках FC, виртуальные сервера Exchange на SAS дисках в RAID 10, диски виртуальных машин файловых серверов на SAS дисках в RAID 5, с возможностью хранения архивных данных на более медленных SATA дисках. Таким образом файловые системы были настроены в соответствие с правилами, по которым в зависимости от частоты доступа данные располагаются дисках с разной производительностью.
Централизованное и автоматизированное администрирование
Объединяя все файловые системы и серверы на одной СХД Celerra, мы централизуем администрирование системы хранения. Файловые службы для клиентов Windows и UNIX теперь управляются из одной точки используя функционал системы хранения, которая позволяет сохранять целостность данных вне зависимости от того как данные передаются клиентам, будь то разделяемый ресурс CIFS или экспорт по протоколу NFS. Возможности расширения файловой системы, снэпшоты, политики дедупликации автоматически применяются с минимальным вмешательством администратора. Предиктивный мониторинг и оповещения дают администратору представление об использовании СХД, а также предупреждает о тех действиях, которые необходимо будет предпринять администратору в будущем.
Рисунок 2 — Общая схема подключения СХД EMC Celerra.
Консолидация с использованием унифицированной системы хранения Celerra с виртуализацией серверов
Преимущества
