OpenAI усилит безопасность ChatGPT после трагедии с подростком

Компания OpenAI поделилась планами по устранению недостатков ChatGPT при работе с «чувствительными ситуациями». Поводом стал иск от семьи, обвинившей чат-бот в трагедии, которая случилась с их сыном.




«Цель — сделать так, чтобы наши инструменты были максимально полезны людям. В рамках этого мы продолжаем улучшать способность моделей распознавать и корректно реагировать на признаки психического и эмоционального кризиса и помогать людям находить поддержку — с учетом рекомендаций экспертов», — говорится в блоге стартапа.




Сотрудники фирмы сообщили, что в ChatGPT встроен комплекс многоуровневых защитных механизмов на случай общения с уязвимым человеком. С 2023 года модели обучены не предоставлять инструкции по причинению вреда самому себе. Также они способны переходить на поддерживающую, сочувствующую речь.



Если человек высказывает суицидальные мысли, ChatGPT обучен направлять его к профессиональной помощи. Компания сотрудничает с 90 врачами из более чем 30 стран — психиатрами, педиатрами и терапевтами.



GPT-5 показал заметный прогресс в области предотвращения нездоровой эмоциональной зависимости, снижении льстивости и уменьшении доли неидеальных ответов в кризисах психического здоровья, подчеркнули в OpenAI.




https://forklog.com/exclusive/ai/gpt-5-proryv-proval-ili-posredstvennost




Однако, несмотря на все защитные меры, ИИ-системы компании иногда давали сбой. В связи с этим она работает над:




улучшением защиты в длинных разговорах;



уточнением правил блокировки контента;



расширением помощи для большего числа людей, находящихся в кризисном периоде;



упрощением обращений в экстренные службы;



обеспечением связи с доверенными контактами;



усилением защиты подростков.




26 августа родители 16-летнего Адама Рейна подали против OpenAI иск в суд после его гибели. Они утверждают, что «ChatGPT активно помогал Адаму изучать методы суицида».



Это не единичный случай. Ранее писательница Лаура Рейли опубликовала эссе, где рассказала, что ее 29-летняя дочь ушла из жизни «после длительного обсуждения этого с ChatGPT».



Напомним, в декабре 2024 года в России создали виртуального ассистента на базе ИИ для психологов, который в два раза повышает продуктивность, качество услуг и выручку.