Импортёр данных#

Импортёр данных – это сервисное приложение для обработки и импорта данных из различных источников в Систему.

Приложение работает с файлами источников следующих форматов:

  • .tab;

  • .mid/.mif;

  • .xlsx, .gml;

  • .shp;

  • .kml/.kmz;

  • .gpx;

  • zip-архивы.

Авторизация#

Для авторизации введите в форму логин и пароль, которые используете для входа в Систему:

../../../_images/emerald20.png

Логин и пароль для Системы и импортёра совпадают.

Чтобы не вводить логин и пароль при следующем входе в Систему, установите флажок «Запомнить меня».

Узнать, как авторизироваться в импортёре с помощью ЕСИА, можно по ссылке.

Журнал импорта#

После авторизации при входе в импортёр открывается Журнал импорта.

В журнале импорта отображается информация по всем задачам импорта и указаны следующие характеристики:

  • Имя шаблона;

  • Статус импорта;

  • Проект;

  • Создатель;

  • Время.

../../../_images/emerald.png

Задачи помещаются в журнал по времени запуска: от новых к старым.

Задача может находиться в одном из следующих статусов:

  • В очереди – задача ожидает импорта;

  • Импорт – когда задача находится в состоянии импорта, в поле [Статус импорта], отображается процесс импорта задачи, который состоит из 2 этапов:

    • Подготовка данных – статус импорта изменится на «Подготовка».

    • Импорт – после завершения подготовки данных начинается импорт задачи и отображается информация о количестве импортированных объектов из общего количества объектов.

  • Выполнен – импорт шаблона успешно завершён;

  • Ошибка – импорт данных завершён с ошибкой, при необходимости нужно повторить импорт.

Примечание

Одновременно можно импортировать не более 5 задач.

../../../_images/emerald100.png

Создание задачи импорта#

Чтобы создать задачу импорта:

  1. Нажмите кнопку + Создать задачу импорта.

  2. Заполните поля:

    • [Проект] – выберите проект, для которого производится импорт;

    ../../../_images/emerald101.png

    • [Шаблон] – введите наименование шаблона или выберите из списка;

    ../../../_images/emerald102.png

    • [Набор данных] – введите наименование набора данных или выберите из списка (см. Набор данных);

    • [Система координат] – укажите систему координат.

Примечание

Содержание списков шаблонов импорта и наборов данных фильтруется по принадлежности к проекту.

  1. Загрузите файл для импорта: нажмите на ссылку «Выберите файлы» или перенесите файлы в выделенную область.

При успешной загрузке файлов в левой части экрана появятся типы исходных данных, полученные из файлов. Если при загрузке файла произошла ошибка, то появится сообщение об ошибке.

Чтобы удалить тип исходных данных из задачи импорта, нажмите кнопку крестик «Удалить».

../../../_images/emerald103_2.png

  1. Сопоставьте типы данных с парами импорта, которые ранее были загружены из шаблона, или выполните автоматическое сопоставление.

Примечание

Порядок импорта пар рассчитывается автоматически. Сортировка пар происходит при сохранении изменений в шаблоне импорта.

Для автоматического сопоставления типов данных с парами импорта нажмите на кнопку Сопоставить автоматически:

../../../_images/nazhat_avtosopost.png

Если есть ранее сделанные сопоставления, то приложение запросит подтверждение на их удаление. Для продолжения подтвердите действие.

../../../_images/vopros_sopost_avtomat.png

Для каждого типа исходных данных приложение найдет пары, у которых тип источника имеет такое же наименование. Для всех найденных соответствий будет сделано сопоставление:

../../../_images/avtomat_naidena_para.png

Если в источнике данных есть типы данных с совпадающими именами, то для сопоставления будет взят первый из них.

Если у пользователя нет прав на редактирование типа данных приёмника в паре импорта, то пара будет недоступна для сопоставления с ней источника:

../../../_images/emerald113.png

Если в парах шаблона импорта есть ошибки, то сопоставленная пара будет подсвечиваться красным. Запуск импорта будет невозможен до устранения проблемы.

../../../_images/emerald27.png

Если структура данных файла не соответствует структуре данных, описанной в паре импорта, то сопоставленный тип источника подсветится. Запуск импорта будет невозможен до устранения проблемы. Для устранения проблемы обратитесь к администратору.

../../../_images/emerald22.png

  1. Нажмите кнопку Импортировать, чтобы начать процесс импорта. Подтвердите операцию в появившемся окне.

../../../_images/emerald_new.png

Если при импорте произошли ошибки и импорт не может быть выполнен, то Система завершит задачу импорта и присвоит ей статус «Ошибка».

Импорт не может быть запущен, если:

  • Размер файла-источника слишком большой. Размер файла должен быть прямо пропорционален количеству доступного места. Например, если на сервере приложений доступен 1gb ОЗУ на момент загрузки исходного файла, то Импортёр сможет обработать файл размером до 1gb.

  • Система координат указана неверно.

  • Файл-источник не содержит данные.

Завершение импорта#

После запуска импорта приложение откроет журнал импорта, в котором отображаются все задачи импорта, в том числе их статусы.

Информация о задаче импорта появится в «Журнале импорта».

../../../_images/emerald104.png

Также создать задачу импорта можно во вкладке «Шаблоны», для этого:

  • выберите из списка шаблон, с помощью которого хотите выполнить импорт;

  • в появившемся окне нажмите «Импортировать»;

  • заполните поля, следуя инструкции выше, при импорте файла через окно шаблонов поля [Проект] и [Шаблон] будут заполнены автоматически.

Просмотр деталей импорта#

Посмотреть детали импорта можно по задачам, которые завершились с ошибкой. Чтобы посмотреть детали импорта, нажмите на нужную запись.

Детали импорта содержат информацию о количестве импортированных объектов и количестве объектов в источнике.

Также в деталях импорта отображается тип геометрии: точки, линии, полигоны, коллекции или «без геометрии».

Если импорт был прерван из-за ошибки в процессе импорта данных пары, то детали импорта будут содержать информацию:

  • об успешно импортированных парах;

  • о паре, при импорте которой произошла ошибка;

  • о парах, которые остались необработанными.

../../../_images/emerald105.png

Ошибки при импорте#

При возникновении ошибок обратитесь к администратору Системы.

Большой размер файла-источника

Описание ошибки

Размер файла – источника превышает допустимый.

Решение

Разделите исходные данные на несколько файлов.

В модели данных не найдены атрибуты из типа приёмника

Описание ошибки

{тип приёмника1}

В модели данных не найдены атрибуты {атрибут1_приёмника},…,{атрибутN_приёмника}

…

{тип приёмникаN}

В модели данных не найдены атрибуты {атрибут1_приёмника},…,{атрибутN_приёмника}

Решение

Чтобы решить проблему, откройте шаблон импорта, найдите тип приёмника и далее атрибут, который отсутствует в модели данных. Удалите правила преобразования для данного атрибута приёмника.

Некорректная геометрия объекта

Описание ошибки

{тип источника} – {тип приёмника}

Есть объекты с некорректной геометрией в количестве {количество}

Решение

Внесите изменения в источник данных.

Сервис импорта был недоступен

Описание ошибки

Импорт был прерван из-за недоступности сервиса импорта

Решение

Выполните импорт заново.

Система координат указана неверно

Описание ошибки

{тип источника} – {тип приёмника}

Система координат указана неверно. Для импорта данных в формате GPX или KML/KMZ должна быть выбрана система координат EPSG:4326

Решение

Установите систему координат EPSG:4326, если импорт данных происходит в формате GPX или KML/KMZ.

Структура источника отличается от структуры данных в шаблоне импорта

Описание ошибки

{тип источника} - {тип приёмника}

Структура источника отличается от структуры данных в шаблоне импорта. Не найдены атрибуты:

{атрибут_приёмника},…,{атрибутN_приёмника}

…

{тип приёмникаN}

Структура источника отличается от структуры данных в шаблоне импорта. Не найдены атрибуты:

{атрибут1_приёмника},…,{атрибутN_приёмника}

Решение

Убедитесь, что файл соответствует шаблону импорта и при необходимости внесите изменения в шаблон импорта.

Файл не содержит данные

Описание ошибки

Файл не содержит данные.

Решение

Проверьте корректность данных файла или выберите другой файл для импорта.

Глоссарий#

Алиас#

– уникальное имя типа объекта на латинице.

Атрибут объекта#

– характеристика, которой обладает объект. Например, объект «пассажир» имеет атрибуты «имя», «фамилия», «отчество», «пол», «дата рождения».

Атрибут объекта приёмника#

– наименование поля объекта системы, в которое выполняется импорт данных.

Атрибуты объекта источника#

– наименование полей объекта в файле-источнике.

Импорт данных#

– процесс переноса информации из одного источника в другой с целью сохранения, обработки или анализа данных. В контексте импортёра импорт данных выполняется в соответствии с правилами, установленными в шаблоне импорта.

Источник#

– файл или группа файлов, содержащих исходные данные, которые необходимо импортировать.

Ключевой атрибут#

– атрибут, по значениям которого будет произведён поиск объектов в приёмнике.

Конкатенация#

– операция склеивания строк.

Модель данных#

– концептуальное представление данных и их взаимосвязей. Модель данных определяет структуру, ограничения и семантику элементов данных и их соединений.

Набор данных#

– это сведения о том, каким образом и когда данные были загружены в систему, кем они были разработаны, каким документом были утверждены, в каких картах они отражены, их актуальность, сведения о точности данных и другая информация, которая нужна для оценки качества и применимости набора данных для конкретной задачи.

Набор данных нужен, чтобы:

  • связывать данные, загруженные в систему, с описанием их создания;

  • связывать утвержденные документы, загруженные в систему, и данные, утвержденные этим документом;

  • находить по документу все загруженные в систему пространственные данные, сформированные карты и слои;

  • по объекту системы находить документ, утвердивший его;

  • задавать документу границы территории, на которую он действует.

Правило преобразования#

– логическое выражение, которое описывает алгоритм изменения значений атрибутов источника.

Правило сопоставления#

– совокупность связей атрибутов источника и приёмника с правилами преобразования, фильтрации, а также правилами установки связей в ссылочных атрибутах.

Приёмник#

– совокупность типов объектов системы, в которые производится импорт данных.

Проект#

– часть основного приложения на базе Системы с индивидуальной конфигурацией структуры и функциональных возможностей, ограниченная территорией региона, города или муниципального образования.

Виды конфигурации проекта:

  1. Региональный;

  2. Городской округ;

  3. Муниципальное образование.

Проектная система координат#

– система координат, которая используется в проекте по умолчанию.

Режим импорта#

– определяет, каким образом будут обработаны исходные данные. Например, в режиме «добавить все объекты» по каждой записи в источнике будет создан новый объект в приёмнике.

Система координат#

– установленные правила соотнесения цифровых значений координат и точек пространства.

Тег сопоставления#

– маркер с наименованием атрибута источника в атрибуте приёмника, который показывает наличие сопоставления.

Тип объекта источника#

– тип данных объекта источника. Типы данных могут быть разными в зависимости от формата объекта.

Тип объекта системы#

– в Системе типы данных описываются метаданными. Описание типа включает имя типа, алиас и другие характеристики.

Шаблон импорта#

– совокупность правил обработки и импорта исходных данных.