Перейти к содержанию

Как создать проект мониторинга

Проект мониторинга в приложении Predicate представляет собой граф, состоящий из узлов (данные, преобразования, метрики) и связей между ними для анализа данных и мониторинга моделей. Результатом работы проекта является автоматически формируемый дашборд с визуализацией метрик.

Типичный сценарий использования

  1. Подготовка данных - Выберите существующий датасет из Каталога датасетов - Или зарегистрируйте Новый датасет, загрузив файл CSV, выбрав файл из S3-хранилища или подключившись к таблице SQL - Убедитесь, что выбран подходящий Источник данных для вашей задачи

  2. Создание и настройка проекта - Перейдите к Созданию нового проекта через основное меню - Альтернативно, создайте проект из готового Шаблона, если подходящий шаблон существует - Постройте граф проекта, добавляя узлы трех типов:

    • Узлы данных - выбрав датасеты из каталога
    • Узлы Преобразований - для подготовки и трансформации данных
    • Узлы Метрик - для анализа и оценки показателей proj_builder
  3. Построение связей в проекте - Создайте связи между узлами согласно логике обработки данных - Следуйте правилам соединения: данные → преобразования → метрики - Используйте диаграмму проекта для визуального построения графа project_links

  4. Настройка расписания выполнения - Настройте Расписание проекта для регулярного мониторинга - Выберите периодичность (ежедневно, еженедельно, ежемесячно) - Определите режим забора данных и глубину анализа (количество периодов) - При необходимости единоразового запуска пропустите этот шаг

  5. Настройка светофоров для мониторинга - Создайте правила для Светофоров проекта - Определите условия для статусов GREEN (хорошо), YELLOW (удовлетворительно), RED (плохо) - Используйте скалярные значения метрик в правилах светофоров project_svetofor

  6. Запуск и анализ результатов - После сохранения проект запускается автоматически или по установленному расписанию - Проверьте статус проекта в Каталоге проектов - Просмотрите Результаты мониторинга после завершения расчетов - При необходимости создайте Кастомный отчет на основе полученных данных

  7. Сравнение результатов разных проектов - Используйте функциональность Сравнения проектов - Выберите до трех проектов и конкретные запуски для сравнения - Анализируйте метрики в параллельных колонках для выявления различий и трендов

  8. Оптимизация и обновление проекта - На основе анализа результатов внесите корректировки в настройки проекта - Добавьте новые метрики или преобразования при необходимости - Настройте доступ к проекту для других пользователей системы

Такой подход обеспечивает полный цикл работы с данными: от их подготовки до анализа результатов и оптимизации процессов мониторинга. Графовая структура проекта позволяет гибко настраивать потоки данных и повторно использовать компоненты в различных проектах.