5 августа стали известны результаты исследования, опубликованного в журнале Judgment and Decision Making издательства Кембриджского университета: читатели оценили рассказы, сгенерированные ChatGPT, выше текстов, написанных людьми, и оказались не способны отличить одни от других.
Ученые провели три эксперимента с участием более 2,5 тысячи человек, чтобы проверить, как читатели воспринимают машинную прозу. Ключевые результаты в сжатом виде.
Главные мысли за 1 минуту
- Рассказы от ИИ признали более захватывающими, чем человеческие.
- Если авторство приписывали человеку, оценка истории росла — вне зависимости от реального создателя.
- Точность угадывания автора составила 39% и 51% — это не отличается от случайности.
- Ученые не нашли доказательств, что люди умеют распознавать тексты, написанные ИИ.
- Участники предпочитали истории ИИ, хотя заранее считали их хуже по качеству.
Как устроен эксперимент
Первое исследование охватило около 1,6 тысячи человек. Каждый получил короткую вымышленную историю: одну сочинил человек, другую создал чат-бот ChatGPT. Одной половине участников сообщили реальное авторство, другой — заведомо ложное. После прочтения респонденты оценивали качество текста и его способность увлечь.
Результат оказался неожиданным: истории, сгенерированные нейросетью, получали более высокие оценки за увлекательность. При этом маркировка авторства серьезно влияла на восприятие. Когда участникам говорили, что рассказ написал человек, они ставили ему более высокий балл, чем когда тот же самый текст приписывали ИИ.
Второй и третий раунды: слепое угадывание
В двух последующих экспериментах участвовали 905 человек. Задача изменилась: каждый респондент читал по две истории — от ИИ и от человека — и должен был определить, кто автор каждой. В первом из этих раундов правильно угадали 39% участников, во втором — 51%. Такой разброс, по словам ученых, не выходит за пределы случайности.
«Нет никаких доказательств общего характера, что участники сумели отличить истории, написанные человеком, от историй, сгенерированных ИИ», — заключают авторы исследования.
Парадокс: предубеждение против нейросетей не мешает им побеждать
Исследователи обнаружили противоречие, которое сложно объяснить логикой. Участники ставили рассказам от ИИ более высокие оценки, хотя заранее считали, что такие тексты заведомо хуже человеческих. При этом машинная проза воспринималась как сопоставимая с авторской, а иногда и превосходящая ее.
Вероятное объяснение, к которому пришли ученые, связано с легкостью чтения: тексты, созданные ChatGPT, были проще для восприятия. Также сыграли роль усредненность формулировок и устоявшиеся стереотипы читателей, которые ожидали от ИИ слабого результата, а получили качественный и гладкий рассказ.
