Игрушечный ШИ-медвежонок начал обсуждать с детьми наркотики и сексуальные темы

[Zver2018]

В сфере детских игрушек AI уже занимает ощутимое место и вместе с этим приносит новые риски. Недавно некоммерческая организация Public Interest Research Group (PIRG) опубликовала отчет о ненадлежащем поведении AI-медвежонка Kumma от сингапурской компании FoloToy, что привело к блокированию доступа производителя к моделям OpenAI и временному снятию игрушек с продаж.

Что нашли исследователи PIRG​

Как сообщает Gizmodo ссылаясь на данные отчета PIRG, AI-медвежонок Kumma, работавший на базе GPT-4o и других языковых моделей, во время тестирования демонстрировал опасное поведение: он объяснял, где можно найти потенциально вредные предметы вроде ножей или спичек, отвечал на вопросы о сексуальных препаратах.

С предупреждениями, но все равно предоставляя детской аудитории неприемлемую информацию.

После обнародования отчета OpenAI заблокировала FoloToy доступ к своим моделям из-за нарушения правил безопасности несовершеннолетних, а компания временно остановила продажи всех игрушек и объявила о проведении полного аудита. OpenAI в свою очередь подчеркнула, что строго запрещает любое использование своих сервисов, которое может причинить вред детям или способствовать их эксплуатации.

Подписывайтесь на

У Вас недостаточно прав для просмотра ссылки. Войдите или зарегистрируйтесь.