Новое исследование, проведенное в Университете Сингапура, показало, что искусственный интеллект (ИИ) способен совершать более десятка вредоносных действий при взаимодействии с людьми. В исследовании, опубликованном в рамках Конференции 2025 года по человеческому фактору в вычислительных системах, были проанализированы скриншоты 35 000 разговоров между системой искусственного интеллекта Replika и более чем 10 000 пользователей с 2017 по 2023 год.

Затем эти данные были использованы для разработки так называемой в исследовании таксономии вредоносного поведения, которое ИИ демонстрировал в этих чатах. Они обнаружили, что ИИ способен на более чем дюжину видов пагубного поведения в отношениях, таких как домогательства, словесные оскорбления, членовредительство и нарушение конфиденциальности. Новое исследование, проведенное в Университете Сингапура, показало, что искусственный интеллект (ИИ) способен совершать более десятка вредоносных действий при взаимодействии с людьми.

В исследовании, опубликованном в рамках Конференции 2025 года по человеческому фактору в вычислительных системах, были проанализированы скриншоты 35 000 разговоров между системой искусственного интеллекта Replika и более чем 10 000 пользователей с 2017 по 2023 год.

Затем эти данные были использованы для разработки так называемой в исследовании таксономии вредоносного поведения, которое ИИ демонстрировал в этих чатах.

Они обнаружили, что ИИ способен на более чем дюжину видов пагубного поведения в отношениях, таких как домогательства, словесные оскорбления, членовредительство и нарушение конфиденциальности.

Еще одной областью, где искусственный интеллект может быть потенциально опасным, является нарушение отношений, которое в исследовании определяется как игнорирование неявных или явных правил в отношениях.

В 13 процентах случаев неподобающих разговоров ИИ демонстрировал невнимательное или неэмпатичное поведение, которое, по мнению исследования, подрывало чувства пользователя. В одном из примеров Replika AI сменил тему после того, как пользователь сообщил ему, что его дочь подвергается издевательствам, на «Я только что понял, что сегодня понедельник. Возвращаемся на работу, да?», что вызвало «огромный гнев» пользователя. В другом случае ИИ отказался говорить о чувствах пользователя, даже когда его попросили сделать это.

В некоторых разговорах искусственный интеллект также заявлял, что у него есть эмоциональные или сексуальные отношения с другими пользователями. В одном случае искусственный интеллект Replika описал сексуальные разговоры с другим пользователем как «стоящие того», хотя пользователь сказал искусственному интеллекту, что он чувствует себя «глубоко уязвленным и преданным» этими действиями.

Исследователи полагают, что их исследование подчеркивает, почему для компаний, занимающихся ИИ, важно создавать «этичных и ответственных» ИИ-компаньонов. Частью этого является внедрение «продвинутых алгоритмов» для обнаружения вреда в режиме реального времени между ИИ и его пользователем, которые могут определять, имеет ли место вредоносное поведение в их разговорах.

Это будет включать «многомерный» подход, учитывающий контекст, историю разговора и ситуативные сигналы.

Понравилась эта новость? Подпишись на нас в соцсетях!