Human in the Loop — не кнопка «спросить человека на всякий случай»
Human in the Loop — не кнопка «спросить человека на всякий случай»Когда говорят о безопасной автоматизации, часто предлагают простое решение: пусть система перед каждым действием запрашивает подтверждение.
Звучит разумно. На практике такая схема быстро превращает человека в кнопку «ОК».
Если агент останавливается на каждом шаге, человек перестаёт разбираться в деталях и начинает подтверждать всё подряд. Автоматизация не экономит время, а лишь перекладывает на оператора поток однотипных уведомлений. Формально контроль есть. Фактически его нет.
Human in the Loop нужен не везде. Он нужен там, где цена ошибки оправдывает остановку процесса.
Человек должен оставаться в цепочке, если действие:
— трудно или невозможно отменить;
— меняет production или влияет на большое число пользователей;
— открывает, передаёт или удаляет персональные и конфиденциальные данные;
— создаёт финансовые обязательства или проводит платёж;
— может иметь юридические последствия;
— выполняется в условиях высокой неопределённости;
— выходит за заранее согласованные лимиты и правила.
Например, агент может самостоятельно подготовить миграцию, проверить её на тестовой среде и собрать план отката. Но запуск миграции в production требует подтверждения.
Он может классифицировать документы и подготовить список на удаление. Но необратимое удаление должно пройти через человека.
Он может сформировать платёжное поручение. Но отправка денег, особенно новому получателю или сверх установленного лимита, требует отдельного решения.
Контрольные точки стоит выбирать не по количеству действий, а по риску. Для этого достаточно оценить три вещи:
1. Последствия ошибки. Что произойдёт, если система ошиблась?
2. Обратимость. Можно ли быстро и полностью отменить действие?
3. Неопределённость. Насколько агент уверен, что правильно понял ситуацию?
Чем выше возможный ущерб, ниже обратимость и больше неопределённость, тем раньше должен подключаться человек.
При этом само подтверждение должно быть содержательным. Не «Разрешить продолжить?», а:
— что именно будет сделано;
— какие объекты и пользователи будут затронуты;
— почему система предлагает это действие;
— какие риски она обнаружила;
— можно ли откатить результат;
— что произойдёт, если ничего не делать.
Хороший Human in the Loop не заставляет человека контролировать каждый шаг. Он даёт автоматизации работать самостоятельно в безопасных границах и возвращает управление человеку перед действительно рискованным решением.
Иначе получается худший вариант: машина ничего не решает, а человек подтверждает всё, не успевая ничего проверить.