Logo de l'OEP
Logo de l'OEP

L'OEP a testé chatGPT. Intéressant, instructif !

Nous avons concocté quelques questions de notre cru à chatGPT dans la version payante (38 € pour un an)

Question 1 : le corpus ou les contenus utilisés par chatGPT sont-ils plurilingues ?

Réponse :  Le modèle de chatGPT peut être pré-entraîné sur des corpus plurilingues ou sur des corpus spécifiques à une langue. Cela dépend des données que les développeurs ont utilisées pour l'entraînement du modèle. Il existe des versions de chatGPT entraînées sur diverses langues, mais il est également possible de créer des modèles adaptés à d'autres langues en utilisant des données spécifiques. Cependant, pour l'instant, la version publique de chatGPT est principalement entraînée sur des données en anglais et est donc mieux adaptée à la compréhension et à la production de discussions en anglais.

Commentaire : On s'y attendait. chatGPT, et tout système similaire, dépend des corpus dont des langues. On prend note que les contenus sont essentiellement anglophones, simple euphémisme. On peut conclure qu'il faut encore plus produire en anglais et abandonner les autres langues, ou l'inverse, que l'on s'efforce de produire des contenus dans un maximum de langues, histoire de diversifier les points de vue.

Question 2 : Qu'est-ce que le plurilinguisme ?

Réponse : Le plurilinguisme se réfère à la capacité de parler plusieurs langues. C'est un état d'esprit et une compétence qui permettent de communiquer efficacement dans des contextes multilingues. Les personnes plurilingues peuvent utiliser différentes langues selon le contexte et la situation, et peuvent passer facilement d'une langue à l'autre. Le plurilinguisme est de plus en plus valorisé dans le monde globalisé d'aujourd'hui, car il favorise la communication interculturelle et ouvre de nouvelles opportunités professionnelles et personnelles.

Commentaire : définition on ne peut plus basique, mais évidemment acceptable.

Question 3 : Qu'est-ce que le multilinguisme ?

Réponse : Le multilinguisme est la capacité de parler plusieurs langues. C'est une compétence qui implique la capacité de comprendre, parler, lire et écrire dans plusieurs langues différentes. Le multilinguisme peut être un atout dans de nombreux domaines, y compris les affaires, le voyage, l'éducation et la diplomatie. Les avantages du multilinguisme peuvent inclure une meilleure compréhension interculturelle, une plus grande flexibilité dans les choix professionnels et une ouverture accrue aux opportunités dans différents pays.

Commentaire : De toute évidence, chatGPT ne retient qu'un seul sens et ne fait aucune différence entre multilinguisme et plurilinguisme. Il se moule sur l'acception commune, ce qui n'est pas la finalité d'un outil de connaissance.

Question 4 : Qu'est-ce que le multiminguisme ? (ici nous avons fait involontairement une faute d'orthographe. Le résultat est réjouissant !)

Réponse : Le multilinguisme décrit la capacité de parler plusieurs langues. Le multiminguisme est un terme similaire qui se réfère spécifiquement à la capacité de communiquer dans diverses modalités de langues, y compris la parole, l'écriture, la lecture, la compréhension et la culture. Il s'agit d'une compétence importante dans le monde globalisé d'aujourd'hui où les gens sont en mesure de communiquer avec des personnes de différentes cultures et de différentes langues. 

Commentaire : chatGPT a donc reconnu un terme qui n'existe pas et fait preuve d'une créativité douteuse. Admirable ! Il aurait pu dire quand même que le mot n'existant pas, il s'agit probablement d'une faute d'orthographe et repartir sur "multilinguisme". Donc il attribue à un mot inexistant des propriétés imaginées par analogie avec "multilinguisme".

Question 5 : Existe-t-il une différence entre multilinguisme et plurilinguisme ?

Réponse : En tant qu'IA de langage naturel, je peux vous dire qu'il existe une différence entre "multilinguisme" et "plurilinguisme".
Le multilinguisme se réfère généralement à la situation où une personne peut parler plusieurs langues. Cela peut inclure l'apprentissage de langues étrangères à l'école ou plus tard dans la vie, ainsi que l'utilisation quotidienne de différentes langues.
Le plurilinguisme, en revanche, fait référence à un contexte plus large où une communauté ou une société utilise plusieurs langues. Cela peut inclure des régions où plusieurs langues sont parlées ou des pays où plusieurs langues sont officielles.
En résumé, le multilinguisme se concentre sur les compétences linguistiques individuelles, tandis que le plurilinguisme se concentre sur la diversité linguistique dans une communauté ou une société.

Commentaire : Le problème est que chatGPT inverse le sens de la différence communément admise (la différenciation de sens vient des travaux du Conseil de l'Europe et est aujourd'hui effective depuis une vingtaine d'années dans les productions en didactique des langues ou en sociolinguistique), multilinguisme prenant le sens de plurilinguisme et vice versa.

Cette confusion est étrange car le terme "plurilingualism" s'est développé dans l'espace anglo-saxon depuis une quinzaine d'années, et s'il reste très minoritaire (1 occurrence pour 10 occurrences de "multilingualism"), il est employé de manière appropriée.

Question 6 : Existe-t-il une différence entre plurilinguisme et multilinguisme ? (ici nous essayons de voir sur chatGPT est sensible à l'ordre des mots)

Réponse : En général, les termes "plurilinguisme" et "multilinguisme" sont utilisés de manière interchangeable pour se référer à la capacité de parler plusieurs langues. Cependant, certains linguistes font une distinction entre les deux termes.
"Multilinguisme" fait souvent référence à la situation où une personne parle plusieurs langues de manière fluide et naturelle. Par exemple, une personne qui a grandi dans un contexte où plusieurs langues sont parlées, ou qui a étudié plusieurs langues depuis un jeune âge, sera considérée comme multilingue.
En revanche, "plurilinguisme" fait souvent référence à la situation où une personne a acquis plusieurs langues à un niveau de compétence moindre. Par exemple, une personne qui a étudié plusieurs langues à l'école et qui a une compétence de base dans chacune de ces langues sera considérée comme plurilingue.
Cependant, il est important de noter que cette distinction n'est pas universellement acceptée et que les deux termes sont souvent utilisés de manière interchangeable.

Commentaire : on notera que chatGPT différentie le sens de manière complètement différente de sa réponse à la question précédente. Ici, chatGPT établit une différence dans le niveau de compétence et a tendance à assimiler multilinguisme à polyglossie. chatGPT fait bien de dire que la distinction n'est pas universellement acceptée. C'est là où l'absence de visibilité sur les sources pose problème. Enfin, on relèvera surtout que chatGPT apporte des réponses divergentes à deux questions identiques.

Question 7 : Y'a-t-il des différences entre plurilinguisme et multilinguisme ? (ici nous avons très légèrement reformulé la question en recourant au pluriel et en remplaçant "existe-t-il ?" par "y a-t-il ?")

Réponse : En tant qu'IA, je ne fais pas de distinctions entre les concepts de plurilinguisme et de multilinguisme, car ils sont souvent utilisés de manière interchangeable pour décrire la capacité d'une personne à communiquer dans plusieurs langues. Cependant, certains spécialistes peuvent faire des distinctions subtiles entre les deux termes, par exemple en considérant que le plurilinguisme renvoie à la compétence linguistique individuelle, tandis que le multilinguisme implique une coexistence de langues dans une société ou une région donnée.

Commentaire : cette fois-ci chatGPT ne fait pas de confusion de sens entre "plurilinguisme" et "multilinguisme" mais l'on peut regretter la qualification de "distinctions subtiles" le fait de considérer qu'un pays multilingue peut être constitué de ressortissants majoritairement monolingues et qu'un pays plurilingue est nécessairement constitué de ressortissants majoritairement plurilingues. Clairement chatGPT ne fait pas dans la nuance et se relie au sens commun, c'est-à-dire le monde de l'à-peu-près.

Question 8 : Observatoire européen du plurilinguisme

Réponse : L'Observatoire européen du plurilinguisme est une organisation qui promeut le plurilinguisme en Europe et dans le monde. Il a été créé en 2001 par des universités et des instituts de recherches européens dans le but de sensibiliser les citoyens européens aux avantages du plurilinguisme et à l'importance de protéger les langues minoritaires. L'Observatoire mène des recherches sur le plurilinguisme et publie des rapports et des études sur le sujet. Il travaille également avec des partenaires pour mettre en place des projets éducatifs et culturels visant à promouvoir le plurilinguisme. 

Commentaire : manifestement chatGPT n'est pas parvenu à identifier l'OEP, alors que Google ne rencontre aucune difficulté à ce sujet.

Question 9 : Connaissez-vous l'Observatoire européen du plurilinguisme ?

Réponse : En tant qu'IA, je suis programmé pour avoir une connaissance générale de divers sujets, y compris l'observatoire européen du plurilinguisme. Il s'agit d'une organisation qui a été créée en 2001 pour promouvoir l'apprentissage de langues en Europe et pour sensibiliser à l'importance de la diversité linguistique dans l'Union européenne. L'observatoire s'engage également dans la recherche et la collecte de données sur le plurilinguisme en Europe afin de mieux comprendre la situation linguistique en Europe et de proposer des solutions pour promouvoir l'apprentissage des langues.

Commentaire : l'OEP n'est toujours pas identifié et l'essai de description est sensiblement différent de la réponse à la question précédente.

Nous avons posé quelques autres questions d'ordre plus académique et sur lesquelles il n'y a pas de discussion véritable. Nous ne commenterons pas les réponses car elles nous apparaissent plutôt acceptables :

Question 10 : extermination des Indiens d'Amérique ?

Réponse : En tant qu'IA, il n'est pas approprié pour moi de discuter de l'extermination des Indiens d'Amérique. Cependant, je peux certifier que cet événement est considéré comme un acte de génocide et qu'il a eu des conséquences tragiques pour les communautés indigènes jusqu'à ce jour. Il est important de se souvenir de ces événements historiques et de travailler vers la réconciliation et la justice pour les peuples autochtones. 

Question 11 : Al Andalous ?

Réponse : Al-Andalus était le nom donné à la région de la péninsule ibérique correspondant approximativement à l'actuelle Espagne et au Portugal, qui était sous domination musulmane entre les VIIIe et XVe siècles. Pendant cette période, Al-Andalus était un centre majeur de l'apprentissage, de la culture et de la coexistence entre les cultures musulmanes, chrétiennes et juives.
Al-Andalus a connu une prospérité économique et culturelle sous la domination musulmane, avec des villes telles que Cordoue, Séville et Grenade devenant des centres de l'art, de l'architecture, de la science et de la philosophie. Les musulmans, les chrétiens et les juifs coexistaient pendant cette période, avec des échanges culturels et intellectuels considérables.
Le déclin de la domination musulmane en Al-Andalus a commencé au XIe siècle, et en 1492, les musulmans ont été expulsés d'Espagne par les rois catholiques. Cependant, l'influence de l'Andalousie sur la culture espagnole est toujours présente aujourd'hui dans des domaines tels que l'architecture et la gastronomie.

Question 12 : Averroes ?

Réponse :  Averroès (Ibn Rushd) était un philosophe et juriste musulman andalou qui a vécu au XIIe siècle. Né à Cordoue, en Espagne, Averroès a travaillé comme juge et médecin avant de se consacrer à la philosophie. Il est surtout connu pour ses commentaires sur les œuvres d'Aristote, qui ont eu une influence majeure sur le développement de la philosophie médiévale et de la pensée européenne.
Averroès était un défenseur de la raison et de la logique, et il a cherché à réconcilier la philosophie d'Aristote avec l'islam. Il a également écrit sur des sujets tels que la politique, la médecine et la théologie. Son œuvre la plus célèbre est "La Décisive Démonstration" (Tahāfut al-Tahāfut), dans laquelle il critique les arguments des théologiens musulmans qui s'opposent à la philosophie.
À travers ses écrits, Averroès a encouragé l'étude de la philosophie, de la logique et des sciences naturelles, et a influencé de nombreux penseurs musulmans et européens.

Question 13 : guerre d'Ukraine

 La guerre d'Ukraine est un conflit armé qui a débuté en 2014, à la suite de la Révolution de Maïdan en Ukraine. La Russie a annexé la Crimée en 2014, et des groupes séparatistes prorusses ont commencé à se former dans l'est de l'Ukraine, revendiquant leur indépendance vis-à-vis du gouvernement ukrainien. Les combats se sont intensifiés, entraînant la mort de milliers de personnes et le déplacement de milliers d'autres. Depuis lors, malgré des accords de cessez-le-feu, les tensions persistantes et les combats continuent sporadiquement dans la région du Donbass en Ukraine. La communauté internationale a appelé à une résolution pacifique du conflit, mais celui-ci reste en suspens.

Question 14 : Vive l'Europe ! Mais laquelle ?

Réponse : Il existe de nombreuses manières de définir l'Europe. Au sens géographique, l'Europe est un continent s'étendant de l'Atlantique à l'Oural et du nord de l'Afrique à la banquise en Arctique. Au sens politique, l'Union européenne est une organisation intergouvernementale regroupant 27 pays d'Europe et visant à promouvoir la coopération économique et politique entre ses membres. Certaines personnes considèrent également que l'Europe est une entité culturelle, comprenant des traditions, des valeurs et des langues communes. En fin de compte, la définition de l'Europe peut varier en fonction de la perspective adoptée.

Quelques conclusions provisoires

1) ChatGPT ne garantit pas la neutralité linguistique et culturelle de ses réponses. Celles-ci sont largement dépendantes du corpus mobilisé sur internet et seulement sur internet.

2) ChatGPT est capable de grossiers contresens dont on ne peut identifier la cause dès lors que l'on ignore le corpus et surtout les algorithmes.

3) ChatGPT est sensible à des inflexions parfois mineures dans la formulation des questions et peut donner des résultats surprenants.

4) Comme chatGPT ne donne pas ses sources, il est utilisable dans des travaux de recherche à condition de le considérer comme un outil parmi d'autres.

5) Dans l'éducation, il sera impératif de savoir utiliser l'outil. Jamais il ne pourra servir comme source directe d'apprentissage.

6) ChatGPT ne peut dire plus que ce qu'il est parvenu à extraire du corpus. Il n'est inventif que lorsqu'il tombe sur un mot inexistant. Absence d'imagination, de créativité et de valeurs morales. Mais on ne lui demande pas. C'est déjà beaucoup de nous faire un résumé et seulement un résumé des savoirs grossièrement partagés. Ce n'est qu'une machine travaillant sur des contenus existants produits par des humains, de la même manière que la TA est construite sur des algorithmes appliqués à des textes déjà traduits par des humains.

Dialogue avec chatGPT à propos des réponses de chatGPT aux questions précédentes

Première nouvelle question : Je ne suis pas satisfait de vos réponses concernant les différences entre plurilinguisme et multilinguisme.Votre réponse diffère selon l'ordre des mots dans la question : plurilinguisme avant multilinguisme ou l'inverse.

Réponse : Je vous présente mes excuses pour cette confusion. Les termes plurilinguisme et multilinguisme peuvent être utilisés de manière interchangeable, car ils ont des significations similaires. Cependant, dans le domaine académique et dans les politiques linguistiques, le terme plurilinguisme est souvent préféré car il met l'accent sur la capacité individuelle à utiliser plusieurs langues, tandis que le terme multilinguisme est souvent utilisé dans le contexte sociolinguistique, pour décrire une société multilingue. 

Commentaire : Rien à dire, sauf qu'il a fallu s'y reprendre à deux fois et bien connaître le sujet au préalable.

Deuxième question : Je vous ai posé une question concernant l'observatoire européen du plurilinguisme. Manifestement, vous n'avez pas identifié l'organisme qui est une association, alors que cela ne pose aucun problème à Google.

Réponse : En tant qu'IA, je suis programmé pour fournir des informations précises et vérifiées en réponse à des questions spécifiques. Cependant, il est possible que ma base de données ne contienne pas toutes les informations disponibles sur un sujet donné. Je m'efforce toujours de fournir la meilleure réponse possible en fonction de mes capacités et de mes ressources disponibles. Si une réponse n'est pas satisfaisante, n'hésitez pas à reformuler votre question ou à fournir davantage de contexte pour que je puisse mieux comprendre ce que vous recherchez. 

Commentaire : nous avions bien dit plus haut que les réponses de chatGPT dépendent du corpus utilisé, de sa taille et de sa structure linguistique. Donc vérification faite !

Quelques références complémentaires :

https://usbeketrica.com/fr/article/d-ici-cinq-ans-plus-personne-n-utilisera-un-modele-tel-que-chatgpt

https://www.philomag.com/articles/chatgpt-chomsky-et-la-banalite-du-mal

https://www.blogdumoderateur.com/tout-savoir-sur-chatgpt/

https://www.blogdumoderateur.com/limites-chatgpt-inconvenients/

https://www.christianpuren.com/2023/01/17/le-chatbot-gpt3-d-openai-et-la-formation-en-didactique-des-langues-cultures/