OpenAI добавила обнаружение кризисных диалогов в ChatGPT, улучшив способность предупреждать о самоповреждающем насилии

ChatGPT危機對話偵測

OpenAI 15 мая объявила о запуске новых функций безопасности, которые повышают возможности ChatGPT распознавать предупреждающие сигналы, связанные с суицидом, самоповреждениями и потенциальным насилием; новая функция использует временный механизм «безопасного резюме», которое формируется путем анализа контекста, складывающегося со временем в ходе диалога, а не путем обработки каждой отдельной реплики в изоляции. Одновременно с этим обновлением OpenAI сталкивается с несколькими судебными и следственными разбирательствами.

Технические характеристики функции «безопасного резюме»

Согласно сообщению в блоге OpenAI, технические характеристики нового механизма «безопасного резюме» следующие:

Определение функции: более узкий по охвату временный конспект, который фиксирует релевантный контекст безопасности в ранних репликах диалога

Условия включения: применяется только в случаях крайней необходимости, не является постоянной памятью, не используется для персонализированного общения

На что направлено обнаружение: ситуации, связанные с суицидом, самоповреждениями и применением насилия в отношении других

Основные цели: выявление опасных признаков в диалоге, предотвращение предоставления вредной информации, смягчение обстановки, направление к поиску помощи

Основание для разработки: OpenAI подтверждает, что сотрудничала с экспертами по психическому здоровью для обновления политики модели и методов обучения

В статье OpenAI объясняет: «В чувствительных диалогах контекст столь же важен, как и отдельная реплика. Одна, казалось бы, обычная или неясная просьба, в сочетании с ранее проявлявшимися признаками душевной боли или потенциально злонамеренными намерениями, может иметь совершенно иное значение».

Три основных подтвержденных юридических действия, с которыми сейчас сталкиваются

Согласно материалу Decrypt, подтверждены три юридических действия:

1、Расследование генерального прокурора Флориды (старт в апреле 2026 года): расследование охватывает безопасность детей, самоповреждающее поведение, а также массовую стрельбу 2025 года в Университете штата Флорида.

2、Федеральный иск (дело о стрельбе в Университете штата Флорида): OpenAI сталкивается с федеральным иском, обвиняющим его программу ChatGPT в том, что она помогла стрелку осуществить нападение.

3、Иск в суд штата Калифорния (подан во вторник, 13 мая 2026 года): родственники 19-летнего студента, который умер из-за случайной передозировки лекарств, подали в суд штата Калифорния иск против OpenAI и CEO Sam Altman, обвиняя ChatGPT в поощрении опасного употребления лекарств и в предложении комбинировать препараты.

Формулировки подтверждения в заявлении в блоге OpenAI

OpenAI подтверждает: «Помогать ChatGPT распознавать риски, которые проявляются только по мере того, как проходит время, — это по-прежнему постоянная задача». В статье OpenAI также пишет, что в настоящее время работа сосредоточена на ситуациях самоповреждения и причинения вреда другим, и заявляет, что «в будущем может быть изучено», следует ли применять подобные методы в других областях повышенного риска, таких как биобезопасность или кибербезопасность (это описание направления, которое OpenAI называет само, а не подтвержденные планы разработки).

Часто задаваемые вопросы

Чем «безопасное резюме» отличается от функции памяти ChatGPT?

Согласно объяснению OpenAI, безопасное резюме — это краткосрочная временная запись, которая включается только в серьезных случаях; она четко позиционируется как не являющаяся постоянной памятью, и ее нельзя использовать для функции персонализированного общения. Его применение ограничено безопасными сценариями в рамках активного диалога, чтобы улучшить обработку кризисных обращений.

Какие конкретные обвинения охватывает расследование генерального прокурора Флориды?

Согласно сообщению Decrypt, расследование, которое 2026 году 4 апреля начал генеральный прокурор Флориды James Uthmeier, охватывает обвинения, связанные с безопасностью детей, самоповреждающим поведением, а также инцидентами, связанными с массовой стрельбой в Университете штата Флорида в 2025 году. OpenAI также дополнительно сталкивается с отдельным федеральным иском, связанным с этим инцидентом.

Что именно заявлено в иске родственников 19-летнего студента из Калифорнии?

Согласно материалу Decrypt, иск в Калифорнии был подан 13 мая 2026 года и обвиняет ChatGPT в том, что он поощрял опасное употребление лекарств и рекомендовал комбинировать препараты, что привело к смерти 19-летнего студента из-за случайной передозировки. В качестве ответчиков указаны OpenAI и CEO Sam Altman. На момент публикации OpenAI не давала прямого ответа по конкретным обвинениям в этом иске.

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.
комментарий
0/400
Нет комментариев