ИИ становится умнее: чат-бот на базе GPT-4 прошел тест Тьюринга

В наши дни люди взаимодействуют с искусственным интеллектом в Интернете не только чаще, чем раньше, но и чаще, чем они могут себе представить. Нейросети становятся все более сложными, и иногда трудно отличить их от человека. Исследование, проведенное учеными из Института инженеров электротехники и электроники (IEEE), подтвердило это. Участникам было предложено пообщаться с четырьмя агентами, каждый из которых состоял из одного человека.

Цель исследования состояла в том, чтобы выяснить, смогут ли участники различать синтетические собеседники от живых людей. Исследование учёных — это современная интерпретация теста, предложенного известным математиком Аланом Тьюрингом в 1950 году. Если ИИ-алгоритм может обмануть человека, думая, что он с другой человеком, тест считается пройденным.

В тестировании приняли участие 500 человек, которые некоторое время поочерёдно беседовали с четырьмя агентами, одним из которых был человек. Три других агента были программными продуктами, такими как виртуальный собеседник ELIZA, разработанный в 60-х годах, и современные чат-боты, созданные на основе больших языковых моделей GPT-3.5 и GPT-4. Последний является основой популярного ИИ-бота ChatGPT.

Респонденты общались с каждым агентом по пять минут, а затем должны были сказать, с кем они думали, что разговаривали — с человеком или чат-ботом. В конечном итоге было обнаружено, что GPT-4 было принято 54 процентами участников исследования. ЕLISA была признана человеком лишь в 22 % случаев, потому что она не имела большой языковой модели и архитектуры нейросети. Алгоритм на основе GPT-3.5 признал человека в 50% случаев и опознал человека в 67% случаев.

«Машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они могут быть подвержены когнитивным предубеждениям, ими можно манипулировать и они становятся все более обманчивыми. Один из исследователей прокомментировал результаты исследования, сказав: «Всё это означает, что в ИИ-системах выражаются человеческие недостатки и причуды, что делает их более похожими на человека, чем предыдущие подобные решения, которые имели в арсенале лишь список готовых заранее ответов».

---

---