Языковая модель искусственного интеллекта ChatGPT в версии 4,0 в июне 2023 года резко стала глупее самой себя образца марта того же года, пишет Dexerto.
Похоже, опасения о том, что ChatGPT "захватит мир и лишит всех людей работы", можно считать неактуальными на данный момент.
Последнее исследование показало, что на июнь 2023 года языковая модель GPT-4, используемая в чат-боте, стала значительно менее "умной", чем в марте 2023 года.
Однако, языковая модель GPT-3,5, напротив, в большинстве случаев стала лучше, хотя и имеет свои проблемы.
Исследователи из Стэнфордского университета задавали чат-боту различные вопросы и оценивали правильность ответов на конкретные вещи. Например, ИИ должен был ответить, является ли число 17 077 простым.
Чтобы лучше понять процесс "размышления" ИИ и улучшить результаты, чат-бота попросили расписывать свои вычисления шаг за шагом.
Однако, это не помогло. Если еще в марте модель GPT-4 давала правильный ответ в 97,6% случаев, то в июне этот показатель упал до 2,4%, что означает, что чат-бот почти никогда не мог дать правильный ответ.
В случае GPT-3,5 показатель вырос с 7,4% до 86,8%.
Также ухудшилась генерация кода. Ученые создали набор данных с 50 простыми задачами из LeetCode и измерили, сколько ответов GPT-4 выполнялись без изменений.
Мартовская версия успешно справилась с 52% задач, но при использовании июньской модели этот показатель упал до 10%.
Кроме того, пользователи также жалуются на снижение "умственных способностей" ChatGPT в последние недели. Однако, пока не ясно, почему это произошло и предпримет ли компания OpenAI какие-либо действия.
>>>Больше интересных историй – подпишитесь на наши Telegram, Instagram и Viber