ChatGPT, суперзвездата на изкуствения интелект, е изправен пред въпрос, докато продължава да се движи напред: Покри ли стандарта за тест на Тюринг за генериране на резултати, неразличими от човешките реакции? Най-новите изследвания показват, че ChatGPT, въпреки отличното си представяне, изглежда не е преминал напълно този праг.
Двама изследователи от Калифорнийския университет в Сан Диего, Камерън Джоунс, експерт по език, семантика и машинно обучение, и Бенджамин Берген, професор по когнитивна наука, зададоха този въпрос, като се позоваха на работата на Тюринг преди 70 години. Тюринг предложи процес за определяне дали една машина може да постигне ниво на интелигентност и способност за разговор, достатъчно, за да заблуди другите да мислят, че е човек.
Техният доклад е озаглавен „Издържа ли GPT-4 теста на Тюринг?“ Може да се намери на сървъра за предпечат на arXiv. За проучването те събраха 650 участници, за да играят 1400 „игри“, в които участниците имаха кратък разговор с друг човек или GPT модел и бяха помолени да определят с кого говорят.
Това, което откриха изследователите, беше забележително. Моделът GPT-4 заблуждава участниците в 41 процента от времето, докато GPT-3.5 ги заблуждава само в 5 до 14 процента от времето. Интересното е, че хората успяха да убедят участниците, че не са машини, само в 63 процента от опитите.
„Не открихме доказателства, че GPT-4 е преминал теста на Тюринг“, заключават изследователите. Въпреки това, те отбелязват, че тестът на Тюринг все още има стойност при оценката на ефектите от машинните разговори, като рамка за измерване на плавни социални взаимодействия и измама и в разбирането на човешките стратегии за адаптиране към тези устройства.
Те обаче предупреждават също, че в много случаи чатботовете все още ще могат да комуникират по убедителен начин. „Процентът на успеваемост от 41 процента предполага, че AI моделите може би вече имат способността да мамят, особено в ситуации, в които хората са по-малко бдителни за възможността, че може да не говорят с човек“, отбелязват изследователите. Моделите на ИИ, които силно имитират хората, могат да имат широки социални и икономически последици."
Изследователите отбелязват, че участниците, които правилно идентифицират ИИ с хората, се фокусират върху няколко фактора. Модел, който е твърде официален или твърде неформален, буди подозрения. Ако изразът им е твърде многословен или твърде кратък, ако тяхната граматика или пунктуация е необичайно добра или „неубедително“ лоша, това също ще бъде ключов фактор при определяне дали участниците взаимодействат с хора или машини. Освен това участниците бяха чувствителни към отговори, които звучаха твърде общи.
Изследователите предполагат, че проследяването на AI модели ще става все по-важно, тъй като те стават по-плавни и абсорбират повече човешки странности. „Идентифицирането на фактори, които водят до измама и стратегиите за нейното смекчаване ще стават все по-важни“, казаха те. Проучването разкрива, че областта на интелигентния разговор все още е изправена пред предизвикателства, но също така предоставя полезна информация за това как моделите на AI могат да бъдат подобрени.