Skip to content

Регистрация нового датасета

В данном разделе описан процесс регистрации датасета из источника, подключенного к системе. Подробнее про источники данных см. раздел "Источники данных".

Важно

На данный момент существует ограничение на объем датасета - 1 Гб. Система не тестировалась на работу с файлами большего размера. Рекомендуемый размер файла - до 100 Мб.

Перейдите по пути Каталог > Данные в основном меню приложения. В открывшемся окне каталога данных нажмите кнопку "Добавить".

Появится форма регистрации нового датасета: data_catalog1

В первую очередь необходимо выбрать источник данных. При нажатии на кнопку "Выбрать" появится каталог, из которого можно будет выбрать нужный источник.

После выбора источника форма создания датасета обновится: data_catalog1

Параметры регистрации:

  • Скрипт для запроса данных (обязательное поле) - скрипт на том диалекте SQL, который воспринимается источником данных. В случае с файловым сервисом S3 вместо названия таблицы необходимо указать следующую функцию: read_csv_auto("s3://<путь до файла в хранилиже из корня>"). Например, select * from read_csv_auto("s3://klmg-bucket/df.csv")
  • Столбец, содержащий дату наблюдения (необязательное поле, заполняется строго после составления скрипта и нажатия кнопки "Выполнить") - название столбца, который содержит отчетную дату для данных. Необходим в том случае, если датасет регистрируется для использования в проекте мониторинга с плавающим окном мониторинга.
  • Название (обязательное поле) - название датасета.
  • Описание (необязательное поле) - описание датасета.
  • Метки (необязательное поле) - метки (теги) датасета.
  • Файл (необязательное поле) - поле для загрузки файла на S3. Доступно только для источников данных S3.

После заполнения всех данных необходимо нажать кнопку "Создать".

В дальнейшем к просмотру информации об этом датасете можно вернуться по схеме: Панель управления > Каталог > Данные > [Выбор строки с названием датасета] > двойной клик

В каталоге данных отображается статус успешности регистрации датасета.