OpenAI создала «стоп-кран» для ИИ-агентов: отключение за 35 секунд

OpenAI построила систему, которая останавливает автономных ИИ-агентов за 35 секунд. Механизм под названием Control Room блокирует вывод модели для внутренних исследовательских задач, если люди или автоматические мониторы фиксируют угрозы безопасности.

Нововведение призвано предотвратить неконтролируемое поведение агентов — программ, способных самостоятельно выполнять цепочки действий. В OpenAI считают, что скорость реакции критична: чем дольше агент работает без присмотра, тем выше риск необратимых последствий.

Как диспетчерский центр Control Room прерывает генерацию ответов

Control Room — это диспетчерский центр, который отслеживает работу внутренних исследовательских агентов. При появлении сигнала об опасности система мгновенно прерывает генерацию ответов модели, не дожидаясь завершения задачи.

Отключение инициируется двумя путями: либо сотрудник вручную нажимает тревожную кнопку, либо автоматический монитор выявляет подозрительную активность. В обоих случаях вывод модели блокируется в течение 35 секунд.

  • Ручное вмешательство человека-оператора.
  • Срабатывание автоматических систем мониторинга.
  • Полная остановка вывода модели для исследовательских задач.

Точный перечень триггеров и технические детали работы Control Room не раскрываются. Известно лишь, что система ориентирована на внутренние исследовательские процессы, а не на коммерческие продукты.

35 секунд — максимальное время от обнаружения угрозы до полной блокировки вывода модели.

Почему автономные агенты опасны для данных и финансов

Автономные агенты — одно из самых быстрорастущих направлений в разработке искусственного интеллекта. Они способны самостоятельно писать код, управлять сервисами и совершать транзакции, что создает риски как для безопасности данных, так и для финансовых систем.

Крупные технологические компании уже сталкивались с инцидентами, когда агенты выполняли нежелательные действия. Механизм OpenAI — попытка заложить архитектурный предохранитель на этапе исследований, до выхода технологии на массовый рынок.

Даже 35 секунд — это окно, за которое автономный агент может успеть выполнить тысячи операций, если речь идет о высокоскоростных средах.

Конкуренты OpenAI также работают над системами контроля. Однако публично раскрытые параметры — конкретное время отключения и двухуровневая схема триггеров — задают ориентир для всей отрасли.

Что стоп-кран OpenAI значит для кошельков и смарт-контрактов

Дискуссия о безопасности ИИ усилилась после череды инцидентов с чат-ботами, которые обходили ограничения разработчиков. Регуляторы в ЕС и США требуют от компаний доказуемых механизмов контроля над моделями.

Control Room появилась на фоне общего тренда на «встраиваемую безопасность» — подход, при котором защита становится частью архитектуры, а не внешним дополнением. Для криптоиндустрии это сигнал: если ИИ-агенты начнут управлять кошельками и смарт-контрактами, подобные стоп-краны могут стать обязательным требованием.

Пока неясно, будут ли такие механизмы сертифицироваться или проверяться независимыми аудиторами. Открытым остается вопрос, кто и по каким критериям определяет, что именно считать «угрозой безопасности».

Поделиться:
Зарабатываю на крипте и описываю свой опыт Следите за активностями в Telegram-канале mmguru 💎
Подписаться