Облачная аналитика: Amazon Web Services + Qlik Sense Enterprise

Сегодня предлагаю вновь вернуться к теме облачной аналитики. В конце 2016 года на AWS MarketPlace был анонсирован Qlik Sense Enterprise, что позволяет практически в автоматическом режиме начать развертывание Qlik Sense Enterprise на инфраструктуре Amazon Web Services, что значительно упрощает процесс тестовой и продуктивной разработки. Итак, в этой статье рассмотрим, что же такое Amazon Web Services, из чего они состоят, а также как развернуть Qlik Sense на AWS.

AWS: Обзор облачной инфраструктуры

Amazon Web Services (AWS) – это подразделение Amazon.com, которое предлагает услуги в области облачных вычислений. Проект был запущен в 2006 году. В принципе, если говорить о AWS — то это конструктор. Первое впечатление от AWS — слишком много всего. Десятки мануалов, вкладок и новых непонятных терминов.

Самая продуктивная метафора для понимания, что же такое AWS и как взаимосвязаны его части — это датацентр. Панель управления аккаунтом лучше всего представлять себе не как админку shared-хостинга или shell выделенного сервера, а как софт для автоматизации работы обычного, не облачного датацентра.

НА ЗАМЕТКУ! Облачные вычисления — удаленные сервера в интернете для хранения, управления и обработки данных.

Существует три типа облачных вычислений:

SaaS (Software as a Service)
- Позволяет использовать компаниям ПО, без его приобретения, что значительно сокращает затраты, поскольку ПО уже установлено на облачном сервере, что означает быстрое развертывание и высокую экономию времени.
PaaS (Platform as a Service)
- Позволяет разработчику создавать приложения, взаимодействовать на проектах без покупки и поддержки инфраструктуры.
IaaS (Infrastructure as a Service)
- Позволяет компаниям арендовать сервера, хранилища от облачного провайдера – это и есть пример AWS.

Давайте немного рассмотрим полезной терминологии для начинающего архитектора AWS.

Instances — это ваша стойка с серверами.
AMIs — настроенные образы серверов, которые можно установить в вашем датацентре.
Volumes — винты, которые можно вставить в любой из серверов.
Snapshots — резервные копии винтов.
Security Groups — файрволы, за каждым из которых можно прятать один или несколько серверов.

Как все это работает? Центральный объект всего этого облачного изобилия — Amazon Machine Image или AMI. AMI бывают двух типов — S3-backed и EBS-backed. EBS-backed — это образ виртуальной машины с виртуальным винтом — EBS volume. S3-backed — машина без винта, тяжелое наследие тех времен, когда на Амазоне еще не было никаких EBS.

Итак, давайте, пройдемся по некоторым услугам, которые предлагает Amazon AWS, а затем уже перейдем к связке Qlik Sense + AWS:

Вычисления
Хранилище
Базы данных
Сетевая конфигурация
Инструменты управления
Безопасность и аутентификация
Сервисы приложений

Вычисления

AWS EC2 (Amazon Elastic Compute Cloud) — это облачный сервис, предоставляющий виртуальные сервера (Amazon EC2 Instance), 2 вида хранилищ данных, а так же балансировщик нагрузки (Load Balancer). Многие из вас знакомы с VPS — Virtual Private Server. Так вот, EC2 — это не что иное, как сервис, предоставляющий VPS в настоящем облаке, где сервер может легко мигрировать между нодами, а хранилище легко может быть расширено до почти безразмерного. Так же возможно создавать свои образы (AMI — Amazon Machine Image).

AWS Elastic Load Balancing – автоматическое распределение нагрузки и ее распределение.

AWS Lambda — это сервис вычислений, запускающий ваш код при определенных событиях и автоматически управляющий вашими вычислительными ресурсами.

AWS Autoscaling – это функция автоматического масштабирования.

Хранилище

S3 AWS — сервис для простого хранилища данных. Хранит данные в формате объектов AWS Cloud. Так, это лента. Туда можно сохранять большие файлы и хранить их там вечно.

Amazon EBS – сервис хранилища данных, каждый блок которого работает как отдельный жесткий диск.

Базы данных

Amazon RDS — это сервис баз данных, который выносится на отдельную машину. Проще говоря, это отдельные VPS серверы, оптимизированные для работы с базами данных (Amazon Aurora, MySQL, MariaDB, Oracle, Microsoft SQL Server, а также PostgreSQL).

Сетевая конфигурация

Amazon Route 53 — это облачный DNS-сервис от Amazon. Практически самый обычный сервис имён, отличающийся высокой производительностью. Одной из отличительных возможностей Route53 является его интеграция с другими сервисами AWS, такими как EC2 и балансировщиком нагрузки, S3, CloudFront.

Инструменты управления

Amazon CloudWatch — используется для мониторинга здоровья/состояния преимущественно всех сервисов AWS, включая стандартный мониторинг здоровья серверов, доступность тех или иных портов, сторадж, работу СУБД, место на S3 и очень много всяких других чеков.

Безопасность и аутентификация

AWS Identity and Access Management(IAM) позволяет контролировать права доступа ко всем остальным сервисам AWS. Имея штат сотрудников по всем правилам нужно разграничить доступ администраторов, разработчиков, тестирощиков и так далее.

Сервисы приложений

Amazon SES — используется для отправки почты, а точнее рассылок. Высокая репутация IP адресов, высокая производительность серверов, позволяющая слать десятки-сотни тысяч писем в день даёт возможность осуществлять рассылку сообщений от малого до огромного корпоративного размера предприятия.

Amazon SQS — сервис для построения очередей событий. Требуется такая очередь, например, когда разделены приложения создания имейла и его посылка. Тогда создаётся элемент очереди c телом письма, хедерами и т.п, а приложение отправляющее почту считывает элементы из очереди и рассылает их.

Qlik Sense Enterprise на AWS: Инструкция по установке

Мы рассмотрела состав AWS, а теперь давайте рассмотрим, что нужно сделать для работы Qlik Sense Enterprise в облаке на инфраструктуре Amazon Web Services.

Итак, нам будут нужны:

следующие компоненты AWS — Amazon EC2 и Amazon EBS;
64-bit Amazon Machine Image (AMI).
Qlik Sense Enterprise работает под операционной системой Windows, Windows Server 2012 R2 20012R2

Требования по установке: Продукт Qlik работает только под Windows, поэтому для установки Qlik Sense на AWS нужно убедиться в следующем:

У вас есть минимум 8 ГБ ОЗУ и Windows.
Создана безопасная группа AWS для Qlik Sense, которая открывает соответствующие порты.
Вы знаете названия машин и IP адреса.

Установка

Запустите установку Qlik Sense Enterprise с сайта http://www.qlik.com/download. Для скачивания дистрибутива нужно будет ввести свои данные учетной записи (под корпоративным ящиком электронной почты).
Создайте безопасную группу. Ее название может быть любым, например, просто Qlik Sense. Правила для группы указаны на скриншоте ниже:

Используя панель навигации слева в консоли управления AWS, перейдите в EC2 > Security Groups. Нажмите “Create Security Group”.

Имя Qlik Sense

Правила HTTP, HTTPS, RDP, Пользовательские правила TCP (4244), TCP (4248)

Быстрая или пользовательская установка – Я воспользуюсь быстрой установкой.
Примите условия лицензионного соглашения.
Создайте пароль для БД “Qlik Sense”. Введите пароль для новой базы данных Qlik Sense. Откройте панель управления AWS: EC2 > Key Pairs и нажмите Create Key Pair. Сохраните файл (Qlik Sense.pem) в безопасном месте. Этот файл будет использовать для доступа к инстансу.
Параметры – в этой установке я использовал локальные настройки, хотя в продуктивной среде нужно создавать пользователя, конкретно под это имя хоста – итак, по умолчанию задается публичный DNS истанса EC2.
Устанавливаем. Запустите Windows Server 2012 R2 Base instance. EC2 > Instance, а затем нажмите “Launch Instance”. Пройдите последовательно создание инстанса по шагам мастера создания.