QVD файлы — что внутри: часть 2

QVD файлы — что внутри: часть 2 Сегодня у нас продолжение серии постов о QVD файлах от Михаила Королева из АльфаСтрахование. В первой статье о структуре QVD файла Михаил описал общую структуру и достаточно подробно остановился на метаданных. В этой статье нас ждет описание формата хранения информации о колонках, а также опыт автора по трактовке этих данных. Итак (вспоминаем) QVD файл соответствует реляционной таблице, которая, как известно состоит из строк. Каждая строка таблицы в свою очередь состоит из колонок (или полей), причем строки имеют одинаковую структуру, которая может быть описана, например, SQL оператором (create table). В QVD файле таблица хранится в виде двух косвенно связанных частей: Таблицы символов (термин мой) содержат уникальные значения каждой колонки исходной таблицы. Именно о них пойдет речь ниже. Таблица строк содержит строки исходной таблицы, каждая строка хранит индексы значений колонки (поля) строки в соответствующей таблице символов. О таблице строк более подробно я расскажу в третьей части этой серии. На примере нашей таблички (помните — из первой части) SET NULLINTERPRET =<sym>; tab1: LOAD * INLINE [ ID, NAME 123.12,»Pete» 124,12/31/2018 -2,»Vasya» 1,»John» <sym>,»None» ]; В этой табличке: 5 строк поле “ID” имеет 4 уникальных значения (NULL не считается значением, более подробно о нем — в третьей части) поле “NAME” имеет 5 уникальных значений первая строка в таблице строк будет содержать индексы 0 и 0, соответствующие значениям 123.12 и “Pete” соответственно Специальные случаи Как правило, для всех полей таблицы в QVD файле...

Read More

QVD файлы — что внутри: часть 1

QVD файлы — что внутри: часть 1 Сегодня у нас пост о QVD файлах от Михаила Королева из АльфаСтрахование. В этой части Михаил рассмотрит структуру QVD и подробно расскажет о текстовой части QVD файлов, метаданных. QlikView и его младший брат Qlik Sense — замечательные BI инструменты, достаточно популярные у нас в стране и «за рубежом». Очень часто эти системы сохраняют «промежуточные» результаты своей работы — данные, которые визуализируют их «дашборды» — в так называемые «QVD файлы». Часто QVD файлы используются в качестве основного хранилища в многоэтапных ETL процессах, построенных на базе Qlik. И тогда у некоторых (у меня, например, — я занимаюсь в компании вопросами инженерии данных) возникает вопрос — можно ли и как воспользоваться этими данными без QlikView/Qlik Sense? Или другой — а что там и правильно ли «оно» посчиталось? QVD — это формат файла, оптимизированный для работы QlikView/Qlik Sense (чтение из запись информации этими приложениями в файлы такого формата происходит существенно быстрее, чем в файлы любого другого формата). Структура этого файла недокументирована и покрыта «мраком проприетарности», практически не существует приложений, которые способны работать такими файлами (читать и тем более писать). В этой серии статей я поделюсь своим опытом и полученными практическими познаниями: я знаю, как устроен QVD, умею напрямую и быстро его читать и в него писать. Кому будет интересна данная информация: в первую очередь тем, кто работает с QlikView/Qlik Sense, а также тем, кто (как и...

Read More

Qlik Sense + SurveyMonkey: Настройка REST API подключения

Всем привет! Сегодня публикуем статью от разработчика Андрея, в которой он рассматривает, как пошагово настроить REST API подключение к SurveyMokey в Qlik Sense. SurveyMonkey — популярный сервис для проведения опросов. На одном из проектов нам нужно было извлечь и проанализировать в Qlik Sense 5 миллионов строк опросов. Если у вас тоже есть такой источник данных, я сэкономлю вам день на то, чтобы разобраться с особенностями настройки REST подключения к API SurveyMonkey. SurveyMonkey Коннектор vs. REST API SurveyMonkey Qlik разработали специальный SurveyMonkey коннектор, который всю настройку REST-подключения делает за вас. Вот ссылка на более подробное описание самого коннектора: https://www.surveymonkeysv.surveymonkey.com/apps/7PF6v7iygyF7gbRk_2BCEZ7A_3D_3D/details/ Но там есть...

Read More

Релиз Qlik February 2019: что нового?

Qlik Sense совершенствуется с каждым релизом, и уже некоторые давние клиенты QlikView начинают переводить некоторые приложения на Qlik Sense. В февральском релизе Qlik Sense много изменений по визуализации – появился новый пакет одобренных расширений «Visualisation bundle», интерфейс системы стал, на мой взгляд, более привлекательным – теперь переключаться между данными, аналитикой и сторителлингом можно без лишних вкладок, появились подсказки в редакторе выражений, стал доступен Qlik Associative Big Data Index. А теперь подробнее расскажу обо всех новинках релиза. Пакет расширений: Visualisation bundle Важным обновлением Qlik Sense за февраль 2019 года является набор дополнительных «экзотических» визуализаций. Qlik продолжает свою программу Qlik TED (Trusted...

Read More

Проектирование модели данных с таблицами фактов разной детализации

При разработке аналитического приложения иногда нужно объединить в модели данных таблицы фактов с разным уровнем детализации. Например, фактические данные по продажам из 1С представлены в детализации до даты, а плановые данные из файла Excel — до недели или месяца;фактические данные в детализации до номенклатуры, а план — до номенклатурной группы. Сегодня мы разберем несколько подходов создания моделей данных в таких случаях, с плюсами и минусами разных релизаций. Итак, постановка задачи: в модели данных требуется совместить данные из двух или более различных источников с разным уровнем гранулярности (детализации). Ситуация 1: два источника данных с разной гранулярностью времени  Ситуация 1: у двух...

Read More

Gartner BI Magic Quadrant 2019: обзор лидеров рынка

В январе Gartner традиционно выпускает масштабное исследование рынка систем бизнес-аналитики, «Magic Quadrant for Analytics and Business Intelligence Platforms». Три года подряд в квадранте лидеров было всего три платформы – Qlik, Tableau и Microsoft (с продуктом Power BI). В 2019 году на арену вышел новый игрок, ThoughtSpot, и, похоже, скоро на BI-рынке будет жарко. Сегодня в посте – интерактивная аналитика отчетов Gartner BI по годам, подробный обзор лидеров квадранта и предсказания Gartner о будущем рынка бизнес-аналитики. Отчеты Gartner BI 2019-2010: интерактивная аналитика по годам Как обычно начинаем наш обзор BI-квадранта с визуализации в стиле Qlik: Барри Хармсен, автор блога QlikFix и...

Read More

Новогоднее расширение для Qlik Sense

Новый год все ближе, и у нас прекрасные новости для разработчиков Qlik! Теперь можно украсить елкой, снегом, Санта Клаусом (с оленями и без) не только ваши дома, но и приложения Qlik Sense! VizLib (одна из немногих компаний, чьи расширения пока вошли в программу Qlik TED) создала Новогоднее расширение, чтобы повеселить нас с вами и наших пользователей. Ну а теперь – подробности! Санта-помощник на панели редактирования Санта-Клаус на панели редактирования поможет и разработчикам, и пользователям – ускорит разработку приложения и проследит, чтобы все активные пользователи Qlik Sense получили новогодние подарки. Но и вам не стоит злить Санту – он очень не любит,...

Read More

Релиз Qlik Sense November 2018: что нового?

Ноябрьский релиз Qlik принес некоторые очень долгожданные фичи – например, Alternate States для сравнительного анализа, а также официально одобренный и гарантированно поддерживаемый Qlik-ом пакет из 6 расширений. Итак, что нового Qlik Sense November 2018? Пакет надежных расширений: Dashboard Extension Bundle В прошлый раз мы писали, что у Qlik появилась новая программа для расширений – Qlik TED (Trusted Extension Developer). Экстеншены, вошедшие в программу TED, будут выпускаться пакетами, или бандлами, в этом и последующих релизах Qlik Sense. Qlik берет наиболее популярные расширения с Qlik Branch и проверяет на полное техническое соответствие Qlik Sense, дорабатывает и гарантирует поддерживать стабильность в новых релизах....

Read More

TED, Garden, Playground – это все про Qlik

На прошлой неделе заработал обновленный сайт QlikCommunity – он стал более современным и удобным, но за последнее время это не единственный интересный ресурс нашего любимого вендора. Сегодня у нас подборка полезных Кликовских ресурсов, в которой кратко расскажем, зачем может пригодиться каждый из них: обновленный Qlik Community, Qlik Branch Garden, Qlik Branch Playground, Qlik TED и многое другое. Qlik Community В целом, функционал Кликовского сообщества сильно не изменился: тут полезные блоги по Qlik, форум по разработке, группы для обсуждения отдельных аспектов разработки и применения, хэлп. Можно подписываться на интересный контент и вопросы, находить интересных юзеров и общаться с ними лично....

Read More

О ресурсе:

Меня зовут Андрей Терехов. Я работаю в ИТ-бизнесе уже более 20 лет, из них 8 лет – с QlikView и Qlik Sense.

Далее >>

ТОП-5 авторов

Перейти к верхней панели