Александр СенькоРабота с BigData в облаках. Обработка и хранение данных с примерами из Microsoft Azure
Перед вами — первая исходно русскоязычная книга, в которой на реальных примерах рассматриваются секреты обработки больших данных (Big Data) в облаках. Основное внимание уделено решениям Microsoft Azure и AWS. Рассматриваются все этапы работы — получение данных, подготовленных для обработки в облаке, использование облачных хранилищ, облачных инструментов анализа данных. Особое внимание уделено службам SAAS, продемонстрированы преимущества облачных технологий по сравнению с решениями, развернутыми на выделенных серверах или в виртуальных машинах. Книга рассчитана на широкую аудиторию и послужит превосходным ресурсом для освоения Azure, Docker и других незаменимых технологий, без которых немыслим современный энтерпрайз.
Для Azure FileStorage можно получить доступ к файлам с помощью SDK и прямой внешней ссылки. Это значит, что возможно построение гибридного хранилища: с одной стороны, оно может быть использовано как сетевое, подключенное к виртуальной машине, а с другой — предоставлять извне доступ к файлам точно таким же образом, как это делает Azure Blob. Для сценария миграции информационных систем в облако описанный путь является чрезвычайно удобным и плодотворным, поскольку в подобном случае имеется возможность, с одной стороны, не вносить никаких изменений в устаревший код, оставив только стандартные операторы работы с файлами на уровне операционной системы, а с другой — предоставить внешним анонимным пользователям функциональность облачного хранилища общего назначения.
Всех этих особенностей лишен сервис AWS EFS, который представляет собой просто облачный сервис сетевого хранилища, без каких бы то ни было возможностей доступа к файлам, кроме как из примонтированной виртуальной машины
Если Azure File Storage позволяет создавать шару файловой системы с указанием верхнего размера (квоты), то у AWS EFS просто создается файловая система без лимита. Монтирование обоих файловых систем сводится к выполнению команд на целевых виртуальных машинах, но в случае Azure File Storage неявно подразумевается, что и файловая система, и виртуальная машина должны находиться в одном и том же регионе и в одном и том же аккаунте. Для AWS EFS необходимо явное конфигурирование виртуальной сети, подсетей, групп безопасности и зон доступности.