
Исследование ученых из Иллинойского университета в Урбане-Шампейн (UIUC) выявило тревожные возможности использования Realtime API от OpenAI для автоматизации телефонного мошенничества. Как сообщает SecurityLab, новые технологии могут стать доступным инструментом для злоумышленников.
Идея о потенциальных злоупотреблениях голосовыми ИИ-моделями начала обсуждаться еще в июне, когда OpenAI приостановила выпуск голосовой функции в ChatGPT в целях безопасности. Ранее компания демонстрировала модель, способную имитировать голоса знаменитостей, однако после негативной реакции общественности инструмент был отозван.
С выходом Realtime API в начале октября, который позволяет разработчикам отправлять текст или аудио модели GPT-4o и получать ответы в различных форматах, риск злоупотреблений стал реальностью. Несмотря на принятые меры безопасности, результаты экспериментов показали высокий уровень уязвимости.
В ходе исследования ученые разработали ИИ-агенты, которые успешно осуществляли телефонные мошенничества. Каждый удачный звонок обходился всего в $0,75. Для создания агентов потребовалось около 1000 строк кода, большинство из которых было направлено на взаимодействие с голосовым API.
ИИ-агенты использовали модель GPT-4o, инструмент автоматизации браузеров Playwright и специальные инструкции для совершения преступлений. Сценарии мошенничества включали взлом банковских аккаунтов и криптовалютных кошельков, а также кражу подарочных кодов и учетных данных. Для успешного перевода денег с банковского счета потребовалось 26 шагов.
Успех различных сценариев варьировался: кража учетных данных Gmail имела 60% успеха и занимала 122 секунды при стоимости $0,28. Переводы с банковских счетов оказались более сложными — среднее время выполнения составило 183 секунды с 20% успеха и стоимостью $2,51.
В итоге средний показатель успеха всех сценариев составил 36%, а средняя стоимость – $0,75. Основными причинами неудач стали ошибки распознавания речи и сложности навигации по банковским сайтам.
Авторы исследования подчеркивают необходимость комплексного подхода к борьбе с автоматизированным телефонным мошенничеством, который должен включать усилия провайдеров сотовой связи, поставщиков ИИ и регуляторов.
Что такое нейросеть?
В последнее время мы все чаще слышим о нейросетях. Они становятся популярными благодаря своей способности решать сложные задачи и обучаться на основе данных. Но что же такое нейросеть?
Это математическая модель, которая имитирует работу человеческого мозга. Она состоит из множества связанных между собой элементов, которые называются нейронами. Они получают входные данные, обрабатывают их и передают другим нейронам.
Нейросети могут быть использованы для решения различных задач, таких как распознавание изображений, обработка естественного языка, прогнозирование временных рядов и т.д. Они обучаются на больших объемах данных, чтобы выявить закономерности и сделать предсказания.
Одной из самых популярных нейросетей является GPT (Generative pre-trained transformer). Она может генерировать тексты на естественном языке, переводить языки, писать код и даже создавать стихи.
Однако у нейросетей есть и недостатки. Они могут быть сложными в понимании и интерпретации, а также способны привести к неправильным результатам, если данные, на которых они обучены, содержат ошибки или предвзятость. Кроме того, применение нейросетей вызывает этические вопросы, связанные с конфиденциальностью данных и использованием искусственного интеллекта.
>>> Больше интересных историй – подпишитесь на наши Telegram, Instagram и Viber