Робот в облаке: автоматическая загрузка файла в Qlik Sense Cloud

Сегодня хочу предложить решение по автоматизации работы Qlik Sense Cloud, а именно автоматический загрузчик файлов данных. Хотя, конечно, правильное решение – это использование коннекторов ко всему спектру всевозможных данных с автоматическим обновлением данных в Qlik Sense Cloud, но пока список этих коннекторов не так велик, как хочется пользователю.

Скачать Робот автоматической загрузки файлов в Qlik Sense Cloud

Итак, для установки робота автозагрузки данных, нам нужно выполнить следующие шаги:

1. Установить Selenium Webdriver.
2. Установить AutoIT.
3. Настроить код AutoIT и Selenium для вашей среды.
4. Создать и запланировать задачу в планировщике заданий Windows.

НА ЗАМЕТКУ! Для работы с Selenium или AutoIT не нужно иметь опыта обширного работы с ними — разобраться с ними достаточно просто. Используя предложенное руководство, вам потребуется максимум четыре часа для решения всей задачи автоматической загрузки данных в Qlik Sense Cloud.

Установка Selenium Webdriver

Selenium Webdriver — инструмент для автоматизации реального браузера, как локально, так и удаленно, наиболее близко имитирующий действия пользователя, с открытым программным кодом. Также это и набор библиотек для различных языков программирования, позволяющих управлять браузером из программы, написанной на этом языке программирования.  Однако, мы не получим полный контроль над Windows GUI при помощи этого инструмента, поэтому мы будем использовать AutoIT для интеграции с диалоговым окном Windows для подключения к окну загружаемых файлов в Qlik Sense Cloud.

НА ЗАМЕТКУ!  При помощи Selenium можно (и даже нужно!) автоматизировать любые рутинные действия, выполняемые через браузер. Selenium напрямую вызывает команды браузера, используя родной для каждого конкретного браузера API. Как совершаются эти вызовы и какие функции они выполняют зависит от конкретного браузера.

В Selenium можно использовать разные языки (Java, C#, Ruby, Python, JavaScript). Мы же будем использовать Java для автоматической загрузки файлов данных в Qlik Sense Cloud.

Для запуска скрипта можно использовать любой браузер, но в этом примере я использую Firefox, который имеет специальный плагин от Selenium для записи действий пользователя, которые мы можем сконвертировать в Java.

Скачать Firefox с официального сайта.

Для дальнейшей работы робота нужно пройти шесть шагов, указанных на картинке, а именно установить Java, Eclipse, а также Selenium Webdriver Java Client. Я установил все на мой сервер. Также вам стоит установить среду разработки на ваш ПК.

Инструкция по установке Java для Selenium Webdriver Java

Настраивая Eclipse и Webdriver, вы создадите первый java-проект. После этого нужно запустить тест на GeckDriver, прежде чем создавать первое тестовое задание. Это позволит устранить возможные баги в вашей среде, прежде чем работать с кодом.

Теперь пойдем далее, займемся установкой AutoIt

Установка AutoIt

AutoIt — свободно распространяемый язык для автоматизации выполнения задач в Microsoft Windows. AutoIt использует симуляцию нажатия клавиш, движений мыши и манипуляции с окнами, элементами управления. Это позволяет автоматизировать задачи пользователя Windows, таким образом, какой невозможен или затруднён в других языках программирования.

Мы будем использовать его для определния диалогового окна Windows и симуляции нажатия клавиш. В вашей среде разработки, скачайте и установите AudIt. После этого мы можем перейти к тестированию и настройке кода для закачки файлов с данными в Qlik Sense Cloud.

Настройка кода

Итак, добавим код. Сначала настроим код AutoIt для работы с диалоговым окном Windows, а после этого настроим код Selenium Webdriver, который управляется через Qlik Sense Cloud.

Настройка кода: AutoIt

Откройте редактор скрипта SciTe в начальном меню и вставьте следующий скрипт.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

;;Wait 5 seconds for the File Upload window to appear WinWait("File Upload", "", 5) ;;Paste location of folder where data files are locally stored (Text limited to 259 characters) ControlSetText("File Upload", "", "[CLASS:Edit; INSTANCE:1]", "D:\YourPath\QVDs") ;;Wait 1 second to finish pasting text Sleep(1000) ;;Hit Enter and go to folder where data files are locally stored ControlSend("File Upload", "", "[CLASS:Edit; INSTANCE:1]", "{ENTER}") ;;Wait 5 seconds to go to folder Sleep(5000) ;;Paste list of data files to upload (Text limited to 259 characters) ControlSetText("File Upload", "", "[CLASS:Edit; INSTANCE:1]", '"Worklogs.qvd" "DocumentTypes.qvd" "INV1.qvd" "ITR1.qvd" "JDT1.qvd"') ;;Wait 1 second to finish typing Sleep(1000) ;;Hit Enter and upload data files ControlSend("File Upload", "", "[CLASS:Edit; INSTANCE:1]", "{ENTER}") 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 ;;Wait 5 seconds for the File Upload window to appear   WinWait("File Upload", "", 5)       ;;Paste location of folder where data files are locally stored (Text limited to 259 characters)   ControlSetText("File Upload", "", "[CLASS:Edit; INSTANCE:1]", "D:\YourPath\QVDs")       ;;Wait 1 second to finish pasting text   Sleep(1000)       ;;Hit Enter and go to folder where data files are locally stored   ControlSend("File Upload", "", "[CLASS:Edit; INSTANCE:1]", "{ENTER}")       ;;Wait 5 seconds to go to folder   Sleep(5000)       ;;Paste list of data files to upload (Text limited to 259 characters)   ControlSetText("File Upload", "", "[CLASS:Edit; INSTANCE:1]", '"Worklogs.qvd" "DocumentTypes.qvd" "INV1.qvd" "ITR1.qvd" "JDT1.qvd"')       ;;Wait 1 second to finish typing   Sleep(1000)       ;;Hit Enter and upload data files   ControlSend("File Upload", "", "[CLASS:Edit; INSTANCE:1]", "{ENTER}")

Итак, сначала по коду мы ожидаем открытие окна “File Upload”. Затем делаем переход в место, где хранятся файлы, а затем выбираем файлы, которые нужно загрузить. В строке 5 вам нужно указать, где находятся ваши файлы, а также список файлов с данными для загрузки в строке 17.

НА ЗАМЕТКУ! Если вы загружаете файлы с названием из более чем 259 букв, то вы можете либо укоротить имена, либо запустить скрипты дважды из Selenium-кода.

Итак, после настройки этого куска кода, нужно перейти в окно загрузки файлов в Qlik Sense Cloud. Затем откройте редактор скрипта SciTe, где у вас есть измененный код, нажмите F5 для запуска скрипта. Должны обновиться названия файлов

НА ЗАМЕТКУ! В некоторых случаях потребуется указания название окна загрузки файлов, согласно языку интерфейса программы (русский/английский), например:

ControlSend(«Загрузка файлов», «», «[CLASS:Edit; INSTANCE:1]», «{ENTER}»)

После всех процедур сохраните файл скрипта (.au3). Для запуска файла в Selenium Webdriver, нужно сохранить его в формате .exe. В редакторе скрипта SciTe Script Editor нужно открыть инструменты и выбрать компиляцию. Теперь откройте директорию, где сохранен файл .au3, вы увидите там файл .exe с тем же именем. Мы используем этот файл в следующем разделе.

Настройка кода: Selenium Webdriver

Далее заменяем тесты на реальный скрипт, вставим код в новый проект Eclipse.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 package automationFramework; import java.io.IOException; import java.util.concurrent.TimeUnit; import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.firefox.FirefoxDriver; public class FileUpload { public static void main(String[] args) throws InterruptedException, IOException {  // TODO Auto-generated method stub  System.setProperty("webdriver.gecko.driver", "C:\\\\YourPath\\geckodriver.exe");  // Create a new instance of the Firefox driver  WebDriver driver = new FirefoxDriver();  // Help to not always rely on sleep function to wait  driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);  driver.manage().timeouts().pageLoadTimeout(100, TimeUnit.SECONDS);  //Launch the Qlik Cloud Log In  driver.get("https://qlikid.qlik.com/cloud");  //Make sure the text box is clear and type account username  driver.findElement(By.id("MemberLoginForm_LoginForm_QUsername")).clear();  driver.findElement(By.id("MemberLoginForm_LoginForm_QUsername")).sendKeys("john.doe");  //Make sure the text box is clear and type account password  driver.findElement(By.id("MemberLoginForm_LoginForm_qPassword")).clear();  driver.findElement(By.id("MemberLoginForm_LoginForm_qPassword")).sendKeys("123456");  //Submit Username and Password  driver.findElement(By.cssSelector("input.qlik-submit")).click();  //Wait for 5 Sec  Thread.sleep(5000);  //Sometimes sent to Qlik.com, so make sure we're in Qlik Cloud  driver.get("https://us.qlikcloud.com/hub/personal");  //Wait for 5 Sec  Thread.sleep(5000);  //Go to Workspace  driver.get("https://us.qlikcloud.com/hub/groups/myWorkSpaceID");  //Click Import Data Button  driver.findElement(By.id("import-data")).click();  //Click Upload Button  driver.findElement(By.id("uploadTrigger")).click();  //Run AutoIT script to select files from File Upload Window  Runtime.getRuntime().exec("C:/MyPath/AutoItScript.exe");  //Wait for 30 Sec  Thread.sleep(30000);  //Click Upload Finished  driver.findElement(By.id("done-upload-file")).click();  //Log out  driver.get("https://us.qlikcloud.com/logout");  //Wait for 5 Sec  //Thread.sleep(5000);  // Close the browser window  driver.quit();  } } 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   package automationFramework;       import java.io.IOException;   import java.util.concurrent.TimeUnit;       import org.openqa.selenium.By;   import org.openqa.selenium.WebDriver;   import org.openqa.selenium.firefox.FirefoxDriver;       public class FileUpload {       public static void main(String[] args) throws InterruptedException, IOException {    // TODO Auto-generated method stub    System.setProperty("webdriver.gecko.driver", "C:\\\\YourPath\\geckodriver.exe");        // Create a new instance of the Firefox driver    WebDriver driver = new FirefoxDriver();        // Help to not always rely on sleep function to wait    driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);    driver.manage().timeouts().pageLoadTimeout(100, TimeUnit.SECONDS);        //Launch the Qlik Cloud Log In    driver.get("https://qlikid.qlik.com/cloud");        //Make sure the text box is clear and type account username    driver.findElement(By.id("MemberLoginForm_LoginForm_QUsername")).clear();    driver.findElement(By.id("MemberLoginForm_LoginForm_QUsername")).sendKeys("john.doe");        //Make sure the text box is clear and type account password    driver.findElement(By.id("MemberLoginForm_LoginForm_qPassword")).clear();    driver.findElement(By.id("MemberLoginForm_LoginForm_qPassword")).sendKeys("123456");        //Submit Username and Password    driver.findElement(By.cssSelector("input.qlik-submit")).click();        //Wait for 5 Sec    Thread.sleep(5000);        //Sometimes sent to Qlik.com, so make sure we're in Qlik Cloud    driver.get("https://us.qlikcloud.com/hub/personal");        //Wait for 5 Sec    Thread.sleep(5000);        //Go to Workspace    driver.get("https://us.qlikcloud.com/hub/groups/myWorkSpaceID");        //Click Import Data Button    driver.findElement(By.id("import-data")).click();        //Click Upload Button    driver.findElement(By.id("uploadTrigger")).click();        //Run AutoIT script to select files from File Upload Window    Runtime.getRuntime().exec("C:/MyPath/AutoItScript.exe");        //Wait for 30 Sec    Thread.sleep(30000);        //Click Upload Finished    driver.findElement(By.id("done-upload-file")).click();        //Log out    driver.get("https://us.qlikcloud.com/logout");        //Wait for 5 Sec    //Thread.sleep(5000);        // Close the browser window    driver.quit();    }       }

В первой строке задайте название созданного проекта.

package automationFramework;

В 14 измените название пути на то, где вы сохранили файл geckodriver.exe.

System.setProperty(«webdriver.gecko.driver», «C:\\\\YourPath\\geckodriver.exe»);

В строке 27 и 31 добавьте имя пользователя и пароль Qlik Sense Cloud.

driver.findElement(By.id(«MemberLoginForm_LoginForm_QUsername»)).sendKeys(«john.doe»);

driver.findElement(By.id(«MemberLoginForm_LoginForm_qPassword»)).sendKeys(«123456»);

В строке 47 замените текущую ссылку на вашу собственную.

НА ЗАМЕТКУ! Войдите в ваш аккаунт Qlik Sense Cloud, нажмите по вашей рабочей области, скопируйте адрес ссылки.

driver.get(«https://us.qlikcloud.com/hub/groups/myWorkSpaceID»);

В строке 56 измените путь на то место, где вы сохранили скрипт AutoIT с исполняемым файлом из предыдущего шага.

Runtime.getRuntime().exec(«C:/MyPath/AutoItScript.exe»);

После всех изменений сохраните скрипт и запустите исполнение скрипта.

НА ЗАМЕТКУ! В строке 59 указано время ожидаемой загрузки файла с данными. Если для этого нужно дополнительное время, то измените параметр, указанный в этой строке кода.

Добавление нового кода

Если вы хотите добавить дополнительные действия в скрипте, то вам будем полезно использовать плагин для Firefox, Selenium IDE

После установки расширения, выберите параметры его отображения в панели инструментов.

После этого при открытии Qlik Sense Cloud, выбрав Selenium IDE, откроется дополнительное окно, в котором будут записываться ваши действия. Запуск записи должен стартовать автоматически. Если это не произойдет, то вам нужно нажать на кнопку записи.

Selenium IDE по умолчанию записывает все в HTML. Язык скрипта можно изменить при копировании и вставки кода в Eclipse, сменив формат на Java.

Так, для обработки действий в браузере в формат Java не нужно быть гуру разработки на Java.

Настройка планировщика

Итак, после обработки всех кодов и их конфигурации, пришло время автоматизировать процесс запуска задания. В моем примере используется планировщик Windows, но можно использовать и другие планировщики.

Итак, у меня такой способ решения этой задачи – создать исполняемый файл jar, а затем — командный файл. Итак, инструкцию по решению этих задач: откройте Eclipse и экспортируйте код в jar-файл. Затем откройте текстовый редактор и вставьте такую строку:

java -jar «C:\YourPath\UploadDataFiles.jar»

Затем сохраните текстовый файл с расширением .bat.

После того, как мы убедились в том, что все корректно работает, запустим планировщик Windows. Откроем вкладку Основное и создадим новое задание. В настройках поставьте приоритетный запуск задания, а также запуск для зарегистрированного пользователя.

Во вкладке Триггеры определите триггер задачи, который соответствует вашей цели.

Во вкладке действие добавьте действие нажмите создать действие – запуск программы и выберите ваш bat-файл.

НА ЗАМЕТКУ! Проверьте работу задачи в ручном режиме, а затем включайте ее на автоматическое выполнение.

Вот собственно и вся процедура создания автоматизированного робота загрузки данных в Qlik Sense Cloud. Отличных вам разработок с Qlik и новых идей!