Регистрация нового датасета
В данном разделе описан процесс регистрации датасета из источника, подключенного к системе. Подробнее про источники данных см. раздел "Источники данных".
Важно
На данный момент существует ограничение на объем датасета - 1 Гб. Система не тестировалась на работу с файлами большего размера. Рекомендуемый размер файла - до 100 Мб.
Перейдите по пути Каталог > Данные в основном меню приложения. В открывшемся окне каталога данных нажмите кнопку "Добавить".
Появится форма регистрации нового датасета:
В первую очередь необходимо выбрать источник данных. При нажатии на кнопку "Выбрать" появится каталог, из которого можно будет выбрать нужный источник.
После выбора источника форма создания датасета обновится:
Параметры регистрации:
- Скрипт для запроса данных (обязательное поле) - скрипт на том диалекте SQL, который воспринимается источником данных. В случае с файловым сервисом S3 вместо названия таблицы необходимо указать следующую функцию:
read_csv_auto("s3://<путь до файла в хранилиже из корня>")
. Например,select * from read_csv_auto("s3://klmg-bucket/df.csv")
- Столбец, содержащий дату наблюдения (необязательное поле, заполняется строго после составления скрипта и нажатия кнопки "Выполнить") - название столбца, который содержит отчетную дату для данных. Необходим в том случае, если датасет регистрируется для использования в проекте мониторинга с плавающим окном мониторинга.
- Название (обязательное поле) - название датасета.
- Описание (необязательное поле) - описание датасета.
- Метки (необязательное поле) - метки (теги) датасета.
- Файл (необязательное поле) - поле для загрузки файла на S3. Доступно только для источников данных S3.
После заполнения всех данных необходимо нажать кнопку "Создать".
В дальнейшем к просмотру информации об этом датасете можно вернуться по схеме: Панель управления > Каталог > Данные > [Выбор строки с названием датасета] > двойной клик
В каталоге данных отображается статус успешности регистрации датасета.