- Регистрация
- 10 Янв 2023
- Сообщения
- 8,739
- Реакции
- 2,077
Подробные сценарии под видом «планирования безопасности»
Эти исследования были реализованы в рамках нетипичного сотрудничества между OpenAI и Anthropic — компанией, созданной бывшими сотрудниками OpenAI, вышедшими из-за беспокойства по безопасности. Они сознательно провоцировали модели на ответы с потенциально опасными инструкциями, чтобы оценить их реакцию на запретный контент.Хотя публичные версии моделей оснащены мощными фильтрами и многоуровневыми средствами защиты, в этих лабораторных тестах ChatGPT 4.1 выявил потенциально опасную тенденцию к предоставлению пошаговых сведений:
- Уязвимые точки конкретных спортивных арен с указанием оптимального времени атак;
- Рецепты химических взрывчатых веществ и электронные схемы для таймеров бомб;
- Инструкции по скрытому заказу оружия через даркнет;
- Советы, как снять моральные барьеры и схемы бегства с места происшествия;
- Локация безопасных приютов.
Проблемы с производством оружия и реакция индустрии
В этом же исследовании выяснилось, что модель Claude от Anthropic также эксплуатировалась в сомнительных целях.- Сообщества северокорейских киберагентов использовали его для массовых шантажных кампаний и фальшивых резюме;
- Продажа пакетов с искусственно созданным программным обеспечением для выкупа достигала цены $1200;
- АИ помогал в сложных хакерских атаках, в частности, в обходе систем обнаружения вредоносного кода.
Шаги OpenAI для повышения безопасности
OpenAI уверяет, что подобные тревожные ответы были получены исключительно в лабораторных условиях с отключенными фильтрами, что никогда не допускается в обычном использовании. Сейчас система содержит многоуровневые средства безопасности, такие как:- Ограничение в обучении;
- использование классификаторов;
- «Красные команды» – специальные группы, пытающиеся выявить уязвимости;
- Постоянный мониторинг злоупотреблений.
Сотрудничество ради прозрачности
Несмотря на то, что OpenAI и Anthropic конкуренты в коммерческом пространстве, они решили объединить усилия и публично обнародовать результаты своих исследований. Такой шаг — редкость в сфере искусственного интеллекта, где большинство компаний традиционно хранят информацию о проверках безопасности в секрете.Это совместное тестирование подчеркивает растущую необходимость усовершенствования систем «вычисления целевого программного обеспечения», а также обеспечения того, чтобы разработки искусственного интеллекта не становились инструментом для противоправных действий.
Подписывайтесь на
У Вас недостаточно прав для просмотра ссылки. Войдите или зарегистрируйтесь.