Агент мониторинга Midnight обнаруживает отказ валидатора за одну минуту

Представитель по работе с разработчиками Midnight Stevan Lohja продемонстрировал инфраструктуру мониторинга во время Fireside Dev Hang 2 сентября. После того как один из 13 валидаторов был намеренно остановлен, агент сообщил о критическом событии примерно в течение одной минуты и указал, на сколько блоков узел отстал. Его восстановление было автоматически подтверждено в следующую минуту.

Агент мониторинга связывает инциденты с операторами

Обычная телеметрия может выявить неисправный валидатор или сервер, но сама по себе эта информация не определяет, кто им управляет или кто должен реагировать.

Архитектура мониторинга использует список, сопоставляющий валидаторы с их операторами. При выполнении предопределенных условий она определяет затронутую инфраструктуру, устанавливает серьезность события, помечает ответственных сотрудников и прикладывает соответствующую операционную процедуру.

Во время живого теста агент сообщил, что валидатор больше не предоставляет данные, и классифицировал событие как критическое. В уведомлении было указано, на сколько блоков отстал узел, и был указан runbook, содержащий шаги реагирования.

После перезапуска валидатора второе сообщение отметило инцидент как решенный. В демонстрации среднее время до подтверждения составило примерно одну минуту.

Критические оповещения не зависят от модели ИИ

Архитектура отделяет детерминированное обнаружение инцидентов от языковой модели.

Правила мониторинга отслеживают предопределенные условия, включая отсутствие валидатора, проблемы с финальностью, расхождение цепей и недостаточное число подключенных пиров. Временные пороги предотвращают немедленную генерацию критических оповещений при обычных кратковременных изменениях сети.

Детерминированная логика решает, считается ли событие инцидентом, присваивает ему степень серьезности и выбирает получателей. Поэтому критические уведомления продолжают работать, даже если языковая модель становится недоступной или выдает недопустимый ответ.

Небольшая локально размещенная модель преобразует исходные технические данные в читаемое сообщение. Она объясняет событие, указывает затронутую инфраструктуру и связывает уведомление с соответствующей процедурой реагирования.

По оценке Lohja, стоимость инфраструктуры продемонстрированной конфигурации составляет примерно 56 долларов в месяц. Модель работает локально на CPU, что позволяет избежать отдельной коммерческой платы за инференс. Для управления развертыванием используется Terraform, а публичные шаблоны инфраструктуры планируются к выпуску позднее.

Потенциальные варианты использования Cardano охватывают управление и хардфорки

Текущее промышленное развертывание мониторит инфраструктуру валидаторов Midnight. Обсуждавшиеся во время сессии приложения для Cardano пока остаются предложенными расширениями, а не активными сервисами.

Один из кейсов касается выявления неактивных DReps, стейк пулов, выведенных из эксплуатации, и делегаций, которые остаются закрепленными за операторами, больше не участвующими в сети. Агент мог бы сопоставлять эти записи с проверенными контактными данными и инициировать проверку статуса.

Тот же подход мог бы мониторить предложения по управлению, сроки и пороги голосования. Он мог бы выявлять активные стейк пулы, не проголосовавшие, и уведомлять их операторов при наличии надежных контактных записей и мер против неверных адресатов.

Координация хардфорка представляет еще одно потенциальное применение. Агент мог бы отслеживать принятие программного обеспечения, сравнивать активность между старой и обновленной цепями и выявлять пиров, остающихся на более ранней версии.

Расширение текущего развертывания на Cardano потребовало бы данных по управлению, проверенных записей об операторах и правил мониторинга, специально разработанных для DReps, стейк пулов и обновлений сети.