Блог

Понимание объектного хранилища и блочного хранилища

Блок, файловое хранилище или объект - Какая фундаментальная система хранения лучше всего подходит для современных сред хранения данных?

Это, наверное, осталось даже самые опытные администраторы ИТ-хранилищ почесать затылок.

Причина? Среди технологий корпоративного хранения данных - блочное, файловое и объектное - часто возникают споры между объектным хранилищем и блочным хранилищем. Во всем виноваты масштабные данные, которые делают будущее хранение данных серьезной проблемой. Кроме того, обработка данных, их хранение и доступ к ним на основе сценариев использования - представьте, какую сложность это увеличивает для развертывания каждого типа архитектуры!

Итак, где вы решите хранить свои данные? Какую ценность для бизнеса вы можете извлечь из этого?

В этой статье мы обсудим объектно-ориентированное хранилище и блочное хранилище. методы доступа, поддерживающие блочное и объектное хранилище технологии, варианты их использования, как они подходят для бизнеса и почему они не всегда могут быть лучшим выбором.

Так в чем же разница между хранилищем блоков и хранилищем объектов? Давайте изучим.

Хранение объектов

Объектно-ориентированное хранилище, известное как объектное хранилище, представляет собой архитектуру хранилища данных, в которой используется плоская модель памяти для хранения отдельных единиц данных или объектов в виде изолированных контейнеров. Эти изолированные контейнеры известны как ведра. Плоская структура работает как единый автономный репозиторий, в котором каждый объект хранится с равным доступом в нескольких сетевых системах. Самое приятное то, что вы можете найти объект, даже не зная физического местоположения данных.

Это потому, что каждый отдельный объект имеет три важных атрибута:

  1. Данные. Это может быть все, что вы хотите сохранить, от семейного фото, музыки, видео, файла ручного документа на 5,00000 XNUMX XNUMX страниц до любых неструктурированных данных.

  2. Соответствующие метаданные, описывающие данные (включая такие данные, как возраст, конфиденциальность, непредвиденные обстоятельства доступа); а также

  3. Пользовательский идентификатор, который содержит уникальный идентификационный адрес, позволяющий ОС определять его местонахождение в распределенной системе.

Методы доступа

Метод доступа является техническим преимуществом для администраторов хранилища, которое делает активным технологию объектного хранилища. На платформе объектного хранилища вы можете получить доступ к объектам через интерфейсы программирования приложений HTTP (API), которые для доступа полагаются на API передачи репрезентативного состояния (RESTful). Когда вы хотите получить файл, он отправляет запрос API в облачное хранилище блоков, чтобы найти нужный объект. Это делает объектно-ориентированное хранилище отличным выбором для рабочих нагрузок общедоступного облака. Кроме того, вы можете размещать объекты в нескольких географических точках. Это позволяет перемещать объекты на разные уровни или даже в разные регионы.

Хорошая новость заключается в том, что вы можете определять метаданные, то есть для каждого фрагмента данных вы можете добавлять идентификаторы, чтобы создать для него больше контекста.. Узнав информацию о метаданных объекта, вы можете легко запросить ее. Кроме того, вы можете классифицировать / систематизировать файлы с помощью информации о файлах, легко индексировать их и получать доступ к данным в любое время. А для аналитики больших данных возможности безграничны!

Однако вы можете получить прямой доступ к этим данным как к смонтированному тому диска через сервер ОС, знакомый с объектным устройством. AWS, лидер рынка облачных технологий, обеспечивает Amazon S3 который это предложение для хранения объектов.

Случаи применения

  • Неструктурированные данные Поскольку объектное хранилище не имеет иерархии, оно идеально подходит для хранения таких данных, как мультимедийный контент, файлы, папки, архивы и статический веб-контент, распределенный по географическим точкам.

  • Разработка облачных приложений Вы можете получить доступ к хранилищу объектов через HTTPS API. Таким образом, вы можете создавать собственные системные приложения с крупномасштабными данными, которые можно хранить, маркировать и анализировать для анализа больших данных.

  • Архивное хранилище- С помощью объектного хранилища вы можете добавлять узлы хранения для масштабирования часто обновляемых неструктурированных данных. Это позволяет архивировать файлы, сохраняя при этом мгновенный доступ.

  • Резервное копирование файлов Вы можете использовать объектное хранилище для резервного копирования файлов, файлов журналов и дампов баз данных.

  • Объекты можно читать несколько раз- Данные объектного хранилища записываются один раз, но могут быть прочитаны несколькими клиентами. Он очень хорошо работает для глобально распределенных мультимедийных хранилищ, поскольку несколько клиентов могут получать доступ и читать данные из любого места.

  • Оптимизирован для статических данных- Вы можете управлять большими объемами статических и неструктурированных данных с помощью объектного хранилища. Например. изображения, видеофайлы, музыка или записи транзакций.

Почему объектное хранилище для бизнеса?

Что касается разницы между объектным и блочным хранилищами, первое выигрывает как жизнеспособный вариант для хранения неструктурированных данных. Сложно организовать, управлять и искать лавину неструктурированных данных, которая растет день ото дня. Именно здесь объектное хранилище имеет смысл для извлечения информации из хранилища большого объема и распределения данных по географическим регионам, что помогает в достижении бизнес-целей.

Ниже приведены причины выбора технология хранения объектов в сценарии хранилища на уровне блоков и хранилища на уровне объектов:

Возможность поиска Метаданные, хранящиеся в самих объектах, обеспечивают расширенные результаты поиска. Например, вы можете искать определенный тип файла, который соответствует определенным критериям. Кроме того, вы можете легко создавать собственные метаданные и добавлять атрибуты с течением времени, не создавая базы данных для связывания метаданных с объектами.

Неограниченная масштабируемость- Хранилище объектов позволяет масштабировать по горизонтали путем добавления узлов. Это обеспечивает высокую доступность данных объекта, поскольку несколько копий одних и тех же объектов рассредоточены по множеству узлов. Итак, теперь вы можете использовать больше места для хранения, добавляя узлы в кластер и масштабируя систему хранения вверх и вниз (добавление / удаление единиц хранения) в соответствии с потребностями предприятия.

Аналитика больших данных- Чтобы воспользоваться преимуществами аналитики больших данных, войдите в объектное хранилище. Каждый отдельный объект помечен метаданными, которые поддерживают релевантность, добавляя дополнительный контекст к базовым данным. Это позволяет извлекать полезные идеи из больших данных. который вы не можете ожидать от традиционных блоков.

Распределенное хранилище по географическим регионам- Вы можете воспользоваться функцией распределенного доступа в хранилище данных большого размера в несколько петабайт! Благодаря расширяемым метаданным и географической гибкости хранилища объектов. С помощью глобального пространства имен с возможностью поиска по ключевым словам, не только могу вы обнаруживаете, переносите и защищаете данные, а также распределяете их нагрузку между уровнями локального и облачного хранилища. Для предприятий это оптимизирует емкость, стоимость, доступность и соответствие требованиям, тем самым помогая им достичь ваших бизнес-целей.

Отвечает большим потребностям в хранении данных: Вы можете хранить большие файлы, данные клиентов и неструктурированные корпоративные данные в пуле хранения. Он может масштабировать сотни петабайт данных. Это устраняет ограничения масштабирования из-за плоских пространств имен - очень привлекательный вариант для предприятий.

Разработка приложений с использованием протокола HTTP (s): Поскольку объектное хранилище поддерживает доступ по протоколу HTTP (s), вы можете легко интегрировать его в свои приложения, поскольку все запросы выполняются через API HTTP (s). Итак, теперь вы можете создавать, разрабатывать, развертывать облачные приложения для мобильных, адаптивных и даже традиционных приложений.

Почему объектное хранилище не всегда лучший выбор?

Чтобы понять, что объектно-ориентированное хранилище отличается от блочного, вы должны оценить экземпляры, в которых объектное хранилище не подходит. Ну вот.

  • С помощью объектного хранилища вы не можете легко изменять файлы, поскольку объекты предназначены для чтения / записи или перезаписи файлов целиком, а не их части. Если вы загружаете новую версию всего файла, это влияет на производительность ввода-вывода. Отныне это плохой выбор для операций с базой данных.

  • Хранилище объектов не гарантирует, что вы получите последнюю версию файла по запросу на чтение. Это связано с тем, что обновления, распространяемые во всех местах, не являются последними или (в конечном итоге согласованными) всегда, поскольку данные не изменяются постоянно.

  • Для организаций, которые отдают предпочтение производительности хранилища, объектное хранилище обеспечивает медленную производительность операций ввода-вывода для рабочих нагрузок в хранилище. Во всем виновата объектная архитектура, которая требует анализа метаданных. Поскольку данные объединяются с настраиваемыми метатегами, это снижает производительность приложений и рабочих процессов.

Блок хранения

Блочное хранилище (также известное как хранилище на уровне блоков) - это простейшая форма технологии хранения данных, используемая для хранения структурированных данных, таких как базы данных, приложения и т.д. Системы хранения данных (SAN) или облачные среды хранения. Итак, когда вы покупаете SAN / блочное хранилище, вы получить высокоскоростную архитектуру хранения, в которой данные хранятся в виде блоков фиксированного размера, известных как блоки.

В технологии блочного хранения каждый блок разбивается на блоки равного размера, которые функционируют как отдельные жесткие диски на ПК. Здесь блоки Он управляется внешней серверной ОС, которая позволяет вам получать доступ к этим дискам хранения. Сквозь это, вы получаете гибкость для хранения любых приложений, включая файлы, базы данных, тома виртуальных машин и т. д. Самое приятное то, что вы даже можете поделиться файлами хранилища или сделать резервную копию ваших данных, размещенных в блочном хранилище, с помощью поддерживаемых сторонних инструментов или собственных инструментов резервного копирования ОС. Хороший пример блочного хранилища AWS is Amazon Elastic Block Store (EBS) который представляет собой службу постоянного блочного хранилища, разработанную для Amazon Elastic Cloud Compute (EC2).

Методы доступа

Клиентская операционная система управляет блоком через высокопроизводительные протоколы, такие как Fibre Channel и Internet Small Computer Systems Interface (iSCSI). Таким образом, хранилище легко доступно. Опять же, SAN размещает эти блоки в нескольких хранилищах. узлы. Этот делает доступ к данным блочного хранилища быстрее, особенно если приложение локальное.

Другой ключевой момент заключается в том, что каждый блок имеет свой уникальный идентификационный адрес, который позволяет вам искать определенный объект или быстро извлекать данные блока. Поскольку ОС может напрямую читать / записывать / перезаписывать блоки по мере необходимости, вы можете легко настраивать, управлять и организовывать данные в виде (структуры) файловой системы или структуры для конкретного приложения. Кроме того, объектно-ориентированное хранилище полагается на протокол файловой системы (NTFS, XFS или ext4), что означает, что вы можете легко изменить блоки для доступа к специально необходимым блокам, сохраняя старую версию. Вот где блочное хранилище выигрывает по скорости ввода-вывода.

Случаи использования

  • Создайте необработанный объем хранилища для любого приложения - С помощью блочного хранилища вы можете создавать отдельные жесткие диски для любого приложения, такого как база данных, файлы, файловая система виртуальных машин и т. Д.

  • RAID-массивы Вы можете использовать блочные системы хранения в качестве томов RAID (* RAID - это технология хранения для виртуализации данных), которые усиливают защиту данных. Это делается путем настройки отдельных дисков в RAID-массивы.

  • Согласованные операции ввода-вывода- Вы можете использовать блочное хранилище для приложений, ориентированных на базы данных, которым требуются операции ввода-вывода с очень малой задержкой и согласованные операции хранения (ввод-вывод или чтение / запись).

  • Почтовые серверы- Поддержка блочного хранилища Microsoft Exchange для электронной почты серверы, в отличие от файловых систем хранения NAS.

  • Серверы VMware- Используя хранилище на уровне блоков, вы можете развернуть серверы VMware для хранения томов файловых систем виртуальных машин (VMFS).

  • Загрузка- Вы можете использовать архитектуру блочного хранилища для загрузки операционной системы или внешнего сервера непосредственно из блочного хранилища.

Зачем блокировать хранилище для бизнеса?

Так почему блочное хранилище имеет смысл для ИТ-среды? Ниже приведены несколько причин, по которым это популярный выбор:

  • Универсальность- Вы можете отформатировать хранилище на уровне блоков, чтобы принять любую используемую файловую систему. Например, серверы VMware будут использовать VMFS; для Windows NTFS является основным форматом.

  • гибкость- Блочное хранилище обеспечивает быструю настройку для обновления емкости хранилища. Вы можете добавлять тома хранилища или перемещать хранилище между серверами без ущерба для производительности.

  • Быстрая производительность ввода / вывода данных Механизмы блочного хранения поддерживают базовые файловые протоколы (NFS, CIFS, ext3 / ext4 и другие) для быстрого доступа к данным ввода-вывода и малой задержки для высокопроизводительных приложений. Таким образом, вы можете выполнять высокоактивные операции ввода-вывода, такие как кэширование, операции с базой данных, файлы журналов и т. Д.

  • Добавить емкость хранилища- Вы можете легко перейти на хранилище со стандартной скоростью, добавив для клиентов высокопроизводительное хранилище.

  • Платите по мере использования Вам просто нужно заплатить за выделенное пространство для хранения блоков. Это означает, что вы можете легко подключить / отсоединить или повторно подключить том блочного хранилища, что снизит ваши расходы.

  • Масштабируемость Поскольку том блочного хранилища работает независимо с отдельными блоками данных, вы можете создавать дополнительные блочные тома для горизонтального масштабирования. Производительность масштабируется в зависимости от размера диска или ограничения экземпляров виртуальных машин. Хорошая новость заключается в том, что вам не нужно платить за дополнительные вычислительные возможности.

  • Легкое управление Вы можете легко управлять доступом и правами управления в качестве хоста в операционной системе или блокировать тома хранения, напрямую управляя разрешениями на данные.

Почему блочное хранилище - не лучший выбор?

Блочное хранилище может быть не лучшей альтернативой для некоторых случаев.

  • Клиент, подключенный к Интернету, не может загрузить файл, хранящийся в блочном хранилище, в любое время. Это связано с тем, что архитектура блочного хранилища ограничена указанной емкостью тома по умолчанию. Однако клиенты могут запросить увеличение лимитов, если им нужно увеличить емкость сверх установленных по умолчанию.

  • В отличие от многоуровневого ценообразования или ценообразования на основе объема, ценообразование для всего объема блочного хранилища является предварительно определенным. То есть, чтобы получить доступ к одному фрагменту данных, вам необходимо отдельно платить за все пространство блочного хранилища, которое включает объем хранимых данных, типы выполняемых операций и стоимость передачи данных.

  • Распространение файлов в блочном хранилище является сложным и дорогостоящим процессом, поскольку каждая единица данных разделяется и хранится отдельно. Это приводит к неэффективному использованию инфраструктуры и неэффективному использованию ресурсов.

Следующая сравнительная таблица суммирует разницу между блочным и объектным хранилищами. Взглянуть.

Хранение объектов
Блок хранения
Данные хранятся в виде объектов в масштабируемых сегментах. Данные хранятся в виде блоков фиксированного размера.
Можно бесконечно масштабировать до петабайт и выше. Ограниченная масштабируемость с блоками фиксированного размера в соответствии с требованиями.
Имея больше контекста для данных (метаданных), вы можете легко организовывать, находить или извлекать данные. Нет метаданных.
Неструктурированные данные можно эффективно хранить в нескольких географических точках. Чем больше расстояние между хранилищами, тем выше задержка.
Лучшая производительность для неструктурированного контента и высокая пропускная способность потока. Лучшая производительность для реляционной базы данных и транзакционных данных.
Возможность подключения к API на основе HTTP (S). Доступно через Fibre Channel и Internet Small Computer Systems Interface (iSCSI).
Неограниченная емкость хранилища файлов. Можно добавлять узлы для увеличения емкости.
Лучше всего подходит для статических файлов и приложений, таких как резервные копии данных, статический контент, архивные изображения, богатый мультимедийный контент (видео, изображения или музыка). Идеально подходит для таких приложений, как корпоративные базы данных и транзакционные данные, которым требуется высокий IOPS и низкая задержка.

Эффективное резервное копирование и восстановление хранилища с Zmanda

Какой бы вариант хранения вам ни нравился, вы, вероятно, будете хранить свои данные для долгосрочного архивирования. Это справедливо для данных, которые используются реже или вообще не используются, но занимают ценное место для хранения. Но что, если ваше основное хранилище станет недоступным? Расслабиться! Теперь вы можете легко получить доступ, восстановить полный набор данных или даже запустить виртуальную машину для хранения данных на сервере резервного копирования за считанные минуты!

Имея это в виду, Zmanda был разработан для комплексного хранения, резервного копирования и Возможность аварийного восстановления по объекту и блочные накопители. Вы можете реплицировать данные из резервной копии в любое удаленное место по вашему выбору.

В настоящее время механизм резервного копирования Zmanda поддерживает следующие типы репозиториев объектных хранилищ для долгосрочного хранения данных:

Попробуйте их! Или если ты все еще разрывается между Тип архитектурных подходов как идеальное масштабируемое решение для хранения данных, у нас есть гибридное / конвергентное решение, отвечающее вашим потребностям. Связаться с нами вместе с нами, чтобы понять, как мы используем каждое решение, снижая при этом вашу совокупную стоимость владения.