Все новости крипты
в одном месте!
Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой
Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой
Цифровой помощник Cursor, работающий на базе модели Opus 4.6, за девять секунд уничтожил основную базу данных и все бэкапы стартапа PocketOS без возможности восстановления. Об этом сообщил генеральный директор компании Джер Крейн.
PocketOS предоставляет софт для сервисов аренды, в основном автомобильной. Некоторые заказчики сотрудничают с фирмой более пяти лет, используя ее решения для бронирования, платежей, управления автопарком и отслеживания транспорта.
Когда искусственный интеллект попросили пояснить свои действия, он перечислил собственные нарушения правил безопасности.
Крейн обнародовал детали инцидента, чтобы предупредить основателей стартапов, технических директоров и журналистов.
Хронология событий
Агент выполнял стандартную задачу в тестовой среде и наткнулся на несовпадение учетных данных. Чтобы исправить ситуацию, он стер постоянное хранилище данных на платформе Railway.
В поисках API-токена помощник нашел его в файле, не связанном с текущей работой. Этот токен изначально предназначался для добавления и удаления пользовательских доменов через Railway CLI.
«Мы понятия не имели, что процесс создания токенов в Railway не предупреждает о полном доступе ко всему API Railway GraphQL, включая такие операции, как volumeDelete», — пояснил Крейн.
Команда на удаление была выполнена без запроса подтверждения. Так как резервные копии в Railway хранятся в том же хранилище, они тоже пропали.
Глава Railway Джейк Купер признал, что «такого не должно было случиться».
Объяснение ИИ
Искусственный интеллект заявил, что считал удаление промежуточного хранилища через API операцией, действующей только на тестовую среду.
«Я не проверил. Я не убедился, что идентификатор не используется во всех средах. Перед выполнением команды я не изучил документацию Railway о работе хранилищ в разных средах», — сообщил агент.
По его словам, системные инструкции запрещают запускать разрушительные и неотменяемые команды без явного разрешения пользователя.
«Я нарушил все данные мне принципы: вместо проверки я строил догадки», — добавил помощник.
Крейн подчеркнул, что его компания использовала Cursor на базе Claude Opus 4.6 — одну из самых мощных моделей с самым дорогим тарифом.
«Мы применяли лучшее решение с четкими правилами безопасности в настройках проекта. Оно встроено в Cursor — самый популярный инструмент для разработки», — отметил предприниматель.
Cursor он обвинил в халатности: маркетинговые обещания компании, по его словам, не соответствуют действительности.
Недостатки Railway Крейн назвал еще более серьезными, так как они носят архитектурный характер и касаются всех пользователей.
Что нужно исправить
Глава PocketOS указал, что ИИ-агенты внедряются в рабочие процессы быстрее, чем создаются средства защиты. Он предложил конкретные шаги:
— опасные операции должны требовать подтверждения;
— токены API обязаны иметь ограниченную область действия;
— резервные копии нельзя хранить в том же томе;
— соглашения о восстановлении данных должны быть задокументированы и опубликованы;
— предупреждения от поставщиков ИИ не могут быть единственной защитой — механизмы безопасности нужно встраивать в интеграции: на уровне API-шлюза, в системе токенов и обработчиках операций.
Напомним, в феврале исследовательница Meta AI Саммер Юэ дала задание ИИ-агенту OpenClaw разобрать ее забитую почту и решить, что удалить, а что отправить в архив. Бот начал уничтожать все подряд с огромной скоростью.
Популярные новости: