ETL-сервис Витрины данных ГИСОГД#

Модуль «ETL-сервис Витрины данных ГИСОГД» обеспечивает прием данных из ведомственных информационных систем (ВИС), их предобработку, трансформацию и последующую передачу в Витрину данных ГИСОГД. Сервис поддерживает сценарии загрузки объектов, контроль качества и отслеживание статусов публикации и ошибок на стороне принимающей системы.

Авторизация#

Авторизация пользователей выполняется:

  • через корпоративный сервис Identity Provider (далее IdP) Keycloak (SSO);

  • через Geometa.

Для работы в системе существуют роли оператора ETL и администратора, разграничивающие права доступа. Учетные записи создает администратор системы по заявке.

Для входа в ETL-сервис откройте адрес веб-интерфейса ETL. Появится страница входа IdP.

../../_images/etl-service_data_mart.png

Введите логин и пароль от учетной записи. Если вход осуществляется через Geometa, то заполнять логин и пароль на этой форме не нужно, данные вводятся на форме авторизации в Geometa.

При успешной аутентификации откроется раздел «Документы» ETL-сервиса.

Для выхода из системы нажмите «Выйти» в правом верхнем углу. Сессия в IdP завершится, и для следующего входа потребуется повторная аутентификация.

Раздел «Документы»#

Раздел отображает все документы, передаваемые из ГИСОГД на Витрину данных ГИСОГД. Реестр служит для мониторинга статусов обработки, фильтрации данных и перехода в карточку конкретного документа.

Список документов отсортирован по убыванию даты поступления в ETL (последние сверху).

Для ограничения списка документов доступна фильтрация по виду документа и по периоду поступления документов в ETL. Для поиска документа можно использовать номер документа, регистрационный номер ГИСОГД, дату документа и другие характеристики.

../../_images/etl-service_data_mart2.png

Документы могут иметь следующие статусы:

  • В обработке – документ доставлен в ETL и проходит обработку;

  • Опубликован – все объекты, из которых состоит документ, прошли проверку, загружены в Витрину данных ГИСОГД и имеют статус «Опубликован». От Витрины поступил ответ об успешности загрузки каждого объекта;

  • Ошибка – хотя бы один объект, из которых состоит документ, имеет статус ошибки.

При нажатии на запись в таблице «Документы» откроется карточка с основными характеристиками документа и списком входящих в него объектов:

../../_images/etl-service_data_mart3.png

Статусы объектов:

  • В обработке – объект доставлен в ETL и проходит обработку (преобразование, валидация);

  • Опубликован – объект успешно прошел обработку и загружен в Витрину данных ГИСОГД, от Витрины поступил ответ об успешности загрузки объекта;

  • Ошибка валидации – возникла ошибка в процессе ФЛК;

  • Ошибка доступа к витрине – ошибка соединения с Витриной;

  • Данные отклонены витриной – ошибка возникает, когда отправленные на Витрину данные не соответствуют структуре Витрины;

  • Ошибка на стороне ETL – ошибка, которая может возникнуть при внутреннем сбое сервиса ETL.

При всех видах ошибок, кроме ошибки валидации, объекты будут автоматически переотправлены на Витрину.

Когда придет корневой объект (например объект, определяющий документ), то начнет собираться граф, где отражены зависимости между объектами. Увидеть графическое отображение зависимостей между объектами можно при переходе на вкладку «Зависимости».

../../_images/etl-service_data_mart4.png

Информацию об объекте и подробный текст ошибки (при наличии) можно увидеть, нажав на объект в списке объектов в карточке документа или в разделе «Объекты».

Чтобы получить сводную информацию по опубликованным на Витрине документам, необходимо сформировать отчет. Для этого нажмите кнопку Отчет в правом верхнем углу.

../../_images/etl-service_data_mart6.png

В появившемся окне укажите период и нажмите кнопку Скачать.

../../_images/etl-service_data_mart5.png

Отчет автоматически сформируется и сохранится в формате .xlsx.

Данные отчета включают в себя сводную информацию, количество документов, опубликованных на Витрину по каждому виду документов, а также информацию о количестве объектов на каждом этапе обработки, в том числе по всем типам объектов.

Глоссарий#

ETL – конвейер «извлечение – преобразование – загрузка» данных между системой-источником и системой-приемником. В данном случае – веб-сервис, обеспечивающий прием, предобработку и передачу данных на Витрину ГИСОГД.

Витрина ГИСОГД – система-приемник, куда ETL публикует наборы данных в соответствии с едиными функциональными техническими требованиями (ЕФТТ).

ГИСОГД – система-источник данных для ETL.

ФЛК – контроль качества данных / форматно-логический контроль. Используется для выявления ошибок при проверке и приемке данных.

Процесс ETL – настройка, описывающая цепочку перемещения данных (источник → приемник), тип данных и операцию (загрузка/удаление); может иметь зависимости («родительские»/«дочерние»).

Карточка документа – экран с детальной информацией по документу, списком объектов, составляющих этот документ, а также графическое отображение зависимостей между объектами документа.