Viber 
Дзен 
С выходом Realtime API в начале октября, который позволяет разработчикам отправлять текст или аудио модели GPT-4o и получать ответы в различных форматах, риск злоупотреблений стал реальностью.
Исследование ученых из Иллинойского университета в Урбане-Шампейн (UIUC) выявило тревожные возможности использования Realtime API от OpenAI для автоматизации телефонного мошенничества. Как сообщает SecurityLab, новые технологии могут стать доступным инструментом для злоумышленников.
Идея о потенциальных злоупотреблениях голосовыми ИИ-моделями начала обсуждаться еще в июне, когда OpenAI приостановила выпуск голосовой функции в ChatGPT в целях безопасности. Ранее компания демонстрировала модель, способную имитировать голоса знаменитостей, однако после негативной реакции общественности инструмент был отозван.
С выходом Realtime API в начале октября, который позволяет разработчикам отправлять текст или аудио модели GPT-4o и получать ответы в различных форматах, риск злоупотреблений стал реальностью. Несмотря на принятые меры безопасности, результаты экспериментов показали высокий уровень уязвимости.
В ходе исследования ученые разработали ИИ-агенты, которые успешно осуществляли телефонные мошенничества. Каждый удачный звонок обходился всего в $0,75. Для создания агентов потребовалось около 1000 строк кода, большинство из которых было направлено на взаимодействие с голосовым API.
ИИ-агенты использовали модель GPT-4o, инструмент автоматизации браузеров Playwright и специальные инструкции для совершения преступлений. Сценарии мошенничества включали взлом банковских аккаунтов и криптовалютных кошельков, а также кражу подарочных кодов и учетных данных. Для успешного перевода денег с банковского счета потребовалось 26 шагов.
Успех различных сценариев варьировался: кража учетных данных Gmail имела 60% успеха и занимала 122 секунды при стоимости $0,28. Переводы с банковских счетов оказались более сложными — среднее время выполнения составило 183 секунды с 20% успеха и стоимостью $2,51.
В итоге средний показатель успеха всех сценариев составил 36%, а средняя стоимость – $0,75. Основными причинами неудач стали ошибки распознавания речи и сложности навигации по банковским сайтам.
Авторы исследования подчеркивают необходимость комплексного подхода к борьбе с автоматизированным телефонным мошенничеством, который должен включать усилия провайдеров сотовой связи, поставщиков ИИ и регуляторов.
>>> Больше интересных историй – подпишитесь на наши Telegram, Instagram и Viber
