En 1950, Alan Turing a suggéré que les systèmes d’IA deviendraient si performants dans l’imitation humaine qu’un interrogateur humain aurait moins de 70 % de chances de différencier une machine d’un humain après 5 minutes d’interaction. Ainsi, un taux de réussite de 30 % a été établi pour qu’une machine « passe le test de Turing ». Près de 70 ans plus tard, GPT-4 d’OpenAI a largement dépassé cette norme, selon une étude récente du département des sciences cognitives de l’Université de Californie à San Diego. Les chercheurs de l’UCSD ont constaté que la plupart des participants ne pouvaient pas distinguer GPT-4 d’un humain, suggérant que le test de Turing a été réussi pour la première fois.
Le test de Turing, initialement appelé « jeu d’imitation » par Alan Turing, évalue si une machine peut converser de manière indiscernable d’un humain. Pour réussir, la machine doit simuler une conversation humaine. Une étude récente de l’UCSD a mené un test de Turing randomisé et contrôlé, évaluant trois systèmes : le chatbot ELIZA des années 1960, GPT-3.5 et GPT-4.
L’étude a impliqué 500 participants répartis en quatre groupes : un groupe a conversé avec un humain, et les trois autres avec l’un des trois modèles d’IA. Après cinq minutes de conversation, les participants ont évalué si leur interlocuteur était humain. Les résultats étaient les suivants : ELIZA a été jugée humaine dans 22 % des cas, GPT-3.5 dans 50 %, GPT-4 dans 54 %, et l’humain dans 67 % des cas. Les chercheurs de l’UCSD ont conclu que GPT-3.5 et GPT-4 ont réussi le test de Turing, avec un intérêt particulier pour le score de 54 % de GPT-4, supérieur au hasard (50 %). Le score d’ELIZA a démontré que le test peut distinguer les niveaux d’avancement des modèles d’IA.
Nell Watson, chercheuse en IA à l’IEEE, a expliqué que les machines peuvent justifier leurs réponses de manière plausible comme les humains, et qu’elles peuvent montrer des biais cognitifs, être influencées et devenir trompeuses. Ces capacités rendent les systèmes d’IA plus humains que les anciens modèles avec des réponses préprogrammées.
