ETL-сервис Универсальной витрины данных#

Модуль «ETL-сервис Универсальной витрины данных» обеспечивает прием данных из ведомственных информационных систем (ВИС), их предобработку/трансформацию и последующую передачу в универсальную витрину данных (УВД) в соответствии с едиными функциональными и техническими требованиями (ЕФТТ) Минцифры РФ. Сервис поддерживает сценарии пакетной загрузки, контроль качества и отслеживание статусов публикации/ошибок на стороне принимающей системы.

Авторизация#

Аутентификация пользователей выполняется через корпоративный сервис IdP Keycloak (SSO).

Для работы в системе существуют роли пользователя и администратора, разграничивающие права доступа. Учетные записи создает администратор системы по заявке.

Для входа в ETL-сервис откройте адрес веб-интерфейса ETL. Появится страница входа IdP.

Введите логин/пароль учетной записи.

../../_images/etl_unidatamart_1.png

При успешной аутентификации откроется главная страница ETL-сервиса. Доступные разделы отображаются в зависимости от назначенной роли.

Для выхода из системы нажмите «Выйти» в правом верхнем углу. Сессия в IdP завершится, повторный вход потребует повторной аутентификации.

В соответствии с политикой безопасности сессия завершается автоматически при длительном бездействии (настройка в IdP).

Ошибки доступа и типовые ситуации:

  • Недостаточно прав (403/«Доступ запрещен») – обратитесь к администратору для назначения требуемой роли.

  • Неверные учетные данные/блокировка – восстановление, разблокировка выполняются средствами IdP по регламенту организации.

Раздел «Запросы»#

Раздел отображает все запросы на загрузку и удаление данных, передаваемых из выбранной системы-источника в систему-приемник. Реестр служит для мониторинга статусов обработки, отборов по фильтрам и перехода в карточку конкретного запроса.

По умолчанию открыта вкладка «На загрузку». Список отсортирован по убыванию даты запроса (последние сверху).

../../_images/etl_unidatamart_7.png

Таблица запросов содержит следующие сведения:

  • система-источник;

  • вид данных;

  • статус с временем его последнего изменения;

  • дата запроса.

Для ограничения списка запросов доступны фильтры «Идентификатор запроса», «Система-источник», «Вид данных», «Статус».

При выборе значения из списка фильтр применяется мгновенно, список запросов динамически изменяется. Фильтр применяется одновременно к двум вкладкам «На загрузку» и «На удаление». При переключении между вкладками фильтры не сбрасываются.

Чтобы сбросить фильтрацию, нажмите кнопку Сбросить все.

Запросы на загрузку и на удаление могут иметь следующие статусы:

  • Принято – запрос готов к отправке;

  • В работе – запрос доставлен в приемник, ожидается обработка;

  • Опубликован – приемник подтвердил обработку (данные загружены/запись удалена);

  • Ошибка – не пройден форматно-логический контроль (ФЛК).

При нажатии на запись в таблице откроется карточка запроса с основными сведениями:

../../_images/etl_unidatamart_8.png

В карточках запросов со статусом «Ошибка» вместе с основными сведениями о запросе будут отображены сведения о данных, в которых найдена ошибка:

../../_images/etl_unidatamart_9.png

Для исправления ошибки необходимо вернуться в исходные данные и привести их в вид, подходящий для обработки и передачи.

Глоссарий#

ETL – конвейер «извлечение - преобразование - загрузка» данных между системой-источником и системой-приемником. В данном случае – веб-сервис, обеспечивающий прием, предобработку и передачу данных в УВД.

УВД / РВД – Универсальная/региональная витрина данных – система-приемник, куда ETL публикует наборы данных в соответствии с едиными функциональными техническими требованиями (ЕФТТ) v11.0.

ВИС – Ведомственная информационная система – система-источник данных для ETL.

ФЛК – контроль качества данных / форматно-логический контроль. Используется для выявления ошибок при проверке и приемке данных.

Система-источник – карточка системы, из которой извлекаются данные (создается в разделе «Системы»).

Система-приемник – карточка целевой системы (обычно РВД), куда отправляются данные.

Соединение – параметры подключения к системе (API, файловая система, RVD и др.), используемые процессами.

Процесс ETL – настройка, описывающая цепочку перемещения данных (источник → приемник), тип данных и операцию (загрузка/удаление); может иметь зависимости («родительские»/«дочерние»).

Вид данных – тип публикуемого набора (например, requests_users, requests_statuses, template_attributes).

Вид операции – «Загрузка» (Upload) или «Удаление» (Delete) для выбранного вида данных.

Запрос – единичная операция загрузки/удаления, отображаемая в разделе «Запросы» по вкладкам «На загрузку» и «На удаление».

Карточка запроса – экран с деталями запроса (статус, вид данных, источник/приемник и пр.) и ссылкой на «Объект с ошибками» при наличии ФЛК/отклонения.