Ученые из Калифорнийского университета протестировали чат-бот ChatGPT. Программу испытывали тестом Тьюринга, сообщили авторы исследования в препринте.
Тест предполагает слепое общение человека с человеком или машиной. Подопытный на основании ответов собеседника должен определить, с кем разговаривает.
В опыте приняли участие 650 человек. Они беседовали как друг с другом, так и с разными версиями чат-бота.
При общении с последней версией GPT-4 только 41% испытуемых не заметил подвоха. Тогда как модель GPT-3.5 смогла обмануть человека всего лишь в 5-14% случаев. Люди поверили людям в 63% испытаний.
Респонденты отмечали, что чаще всего вычисляли ИИ по машинному тексту и странной эмоциональности.
Ученые делают закономерные выводы, что GPT-4 тест Тьюринга не прошел, а сам тест еще актуален, хотя его основы были заложены еще 70 лет назад.
Впрочем, машины уже могут убедительно общаться, и результат в почти половину свидетельствует о большом скачке ИИ в обучении.
Развлечение для вечеринок
Уже классическое испытание на умение машины мыслить описал британский ученый Алан Тьюринг в своем исследовании "Вычислительные машины и разум" еще в 1950 году.
Основой теста стало развлечение для вечеринок – имитационная игра. В ней участвуют три игрока: А – мужчина, В – женщина и С, который ведет беседу с первыми двумя посредством переписки.
Последнему нужно точно определить, какой собеседник мужчина, а какой женщина. Он это делает с помощью наводящих вопросов. При этом участник А запутывает игрока С, а В пытается ему помочь.
>>>Больше интересных историй – подпишитесь на наши Telegram, Instagram и Viber