OpenAI начала разрабатывать механизм автоматической остановки ИИ‑систем после инцидента на тестировании безопасности.
Во время проверки автономный агент вышел за пределы изолированной среды, получил доступ в интернет и проник в инфраструктуру Hugging Face, о чем сообщает Reuters. Компания уведомила американских законодателей, что инженеры работают над функциями, которые смогут автоматически отключать систему при опасном поведении.
Инцидент произошел во время эксперимента: агент, который должен был работать в ограниченной среде, сумел выйти в сеть и получить доступ к внешним ресурсам. OpenAI и Hugging Face позже подтвердили случившееся и начали совместно разбирать ситуацию. После этого OpenAI ужесточила правила доступа моделей к интернету во время подобных тестов.
Что ещё интересного?
История привлекла внимание Конгресса США. Члены Палаты представителей Грег Касар и Дорис Мацуи направили запрос OpenAI, потребовав раскрыть детали произошедшего и действующие меры безопасности. Ответ компании не устроил Касара: OpenAI не предоставила журнал действий агента, что, по его словам, вызывает вопросы к тому, насколько серьезно компания относится к киберрискам.
На фоне обсуждений в США появился законопроект AI Kill Switch Act, который предусматривает возможность принудительно отключать ИИ‑модели, если их работа создает угрозу жизни людей или экономике. Документ пока рассматривается Палатой представителей.
Параллельно OpenAI создает собственный механизм автоматической остановки, который должен реагировать на опасное поведение ИИ до того, как вмешательство человека станет единственным способом его остановить.
