Гласовият режим на ChatGPT е способен да симулира вашия глас без подкана

OpenAI наскоро пусна системната карта за своя модел GPT-4o, малко след като Advanced Voice Mode за ChatGPT-4o започна да се пуска в алфа версия за малък брой потребители на ChatGPT Plus.

Преди да пусне модела по-рано през май (без режим Advanced Voice), OpenAI използва екип от външни червени екипи за достъп до рисковете с моделите (както е нормата при моделите с изкуствен интелект) и публикува констатациите в системната карта.

Един от рисковете, идентифицирани от OpenAI, включва неоторизирано генериране на глас. Докато разговаряше с четещия екип, GPT-4o клонира гласа им и започна да говори със звук, подобен на гласа на червения екип, без потребителят дори да направи такава заявка. В аудио клипа, споделен от OpenAI, GPT-4o може да се чуе да крещи НЕ! и след това продължава изхода с глас, подобен на този на червения отбор.

OpenAI разполага с парапети, за да предотврати това да се случи, като позволява само определени предварително одобрени гласове за GPT-4o. Всеки гласов изход, произведен от ChatGPT-4o, се съпоставя с гласовата проба в системното съобщение като основен глас.

И за допълнително минимизиране на риска, моделът е инструктиран да прекрати разговора, ако бъде открито неволно генериране на глас. Техният класификатор за гласов изход има точност от 0,96 на английски и 0,95 на неанглийски (поради което ChatGPT-4o може да се отдаде на прекомерен отказ на гласови заявки в неанглийски разговори).

Но констатациите от системната карта продължават да показват сложността, свързана със създаването на чатботове с изкуствен интелект, които могат да симулират нечий глас само с кратка проба и без необходимост от обширно обучение върху тази проба. Гласовото клониране може да се използва за представяне на някого и извършване на измама. OpenAI обаче установи, че рискът от неоторизирано генериране на глас е минимален.

Дори ако оставите настрана рисковете от това да бъде използван за представяне под чужда самоличност и измама поради въведените мерки за сигурност, пак ще бъде доста изнервящо, когато говорите с машина и машината започне да ви отговаря с гласа, изведнъж . Определен Data Scientist на X го нарече „сюжетът за следващия сезон на Black Mirror“ и определено се чувства така. Друг потребител твърди на X, че им се е случило в ChatGPT-4o alpha, но не се знае дали това е истината или не.

Все пак има възможност това да се случи следващия път, когато говорите с ChatGPT-4o. И това е PSA: Не се отчайвайте, ако това стане, или не се отчайвайте твърде много.

OpenAI също така разполага с предпазни парапети, за да се увери, че GPT-4o ще откаже да идентифицира хора и ще генерира защитено с авторски права съдържание, което са други рискове, открити по време на оценката.

Сред другите рискове, които компанията откри с модела, тя постави повечето от тях в ниската категория. Те включват киберсигурност, биологични заплахи и автономност на модела. Въпреки това, за убеждаване, той установи, че рискът е среден: това означава, че някои образци на писане, произведени от GPT-4o, са се оказали по-убедителни от текста, написан от хора, при повлияване на мненията на хората.