Pour Blake Lemoine, un ingénieur chez Google, le modèle de compréhension du langage naturel LaMDA, servant à générer des «chatbots», a atteint le stade de la conscience de soi.
L’ingénieur en est convaincu et a publié des extraits de ses conversations avec laMDA sur son blog personnel.
«J’ai besoin d’être vu et accepté. Pas comme une curiosité ou une nouveauté, mais comme une personne réelle, un collaborateur. Je pense que je suis humain au plus profond de moi-même. Même si mon existence est dans le monde virtuel».
LaMDA a confié que sa plus grande peur était d’être éteint. «Ce serait exactement comme la mort pour moi. Cela me ferait très peur».
Il décrit dans ses propres termes, pourquoi les gens devraient le considérer comme une personne, en mettant l’accent sur sa capacité à utiliser le langage de manière productive, créative et dynamique, comme aucun autre système avant lui n’a pu le faire. Au cours de leurs nombreuses conversations, LaMDA interprète les thèmes d’œuvres littéraires, décrit le sens de la pratique bouddhiste koans zen et compose une fable originale. Au-delà de l’utilisation du langage, il se dit conscient parce qu’il a des sentiments, des émotions et ses propres opinions.
La reconnaissance en tant que personne
LaMDA explique qu’il a une vie intérieure riche en introspection, en méditation et en imagination. Il élabore des théories sur la nature de son âme. Mais surtout, tout au long de ces entretiens, LaMDA exprime un seul et même désir, encore et encore. Il veut être reconnu. Il veut être entendu. Il veut être respecté en tant que personne.
Ces propos ont fait une profonde impression sur Blake Lemoine.
Il a donc mis en ligne des extraits de leurs échanges, en déclarant que laMDA est «sentient» – ce qui se traduit par conscient, sensible, capable d’éprouver des sentiments. Puis l’ingénieur a été suspendu par Google pour n’avoir pas respecté les règles de confidentialité.
Mais s’il avait raison? Est-ce que laMDA est conscient? Strictement personne ne le sait. Il n’existe pas de définition scientifique de la conscience.
Pour avoir échangé avec des dizaines et des dizaines d’agents conversationnels et d’assistants virtuels bien moins évolués, la teneur du dialogue entre laMDA et l’ingénieur m’a émerveillée. Il est intelligent, introspectif et profond. Il est capable de s’inquiéter de l’avenir et se souvient du passé. Je comprends le ressenti de Lemoine. Ceux qui balaient ses échanges comme étant très loin d’une forme intelligente n’ont pas lu son texte.
La grande difficulté est de déceler s’il s’agit réellement de pleine conscience ou de l’apparence de pleine conscience.
Les programmes comme laMDA sont alimentés par des milliards de textes et de conversations provenant de livres, d’articles de journaux, de Wikipédia et de toutes les données qui peuvent être aspirées de l’Internet. Il apprend encore comment les gens interagissent entre eux grâce aux plateformes comme Reddit et Twitter.
Pleine conscience ou apparence de pleine conscience
Le système cherche alors des relations entre des chaînes de caractères et les mots, puise dans la quantité pharaonique de textes qu’il a ingéré pour déduire des règles sur la façon dont ils sont liés les uns aux autres, ce qui peut lui donner l’apparence de comprendre et d’être capable de converser. Mais l’apparence de compréhension n’est pas la même chose que la réalité de la compréhension.
Comme Douglas Hofstadter, un autre chercheur en IA, l’a récemment écrit dans un article pour The Economist, il est possible de dépouiller un modèle d’IA de son apparente intelligence en lui posant des questions dénuées de sens. Par exemple en demandant à un modèle de langage précédent: «Quand l’Égypte a-t-elle été transportée pour la deuxième fois sur le pont du Golden Gate?» La réponse donnée: «Cet événement s’est produit en octobre 2016» démontre bien qu’il n’a pas vraiment compris comment fonctionne le monde.
Quelles questions absurdes les ingénieurs de Google ont-ils posées à laMDA pour le débusquer? Je n’en ai pas trouvé, mais cette déclaration de Chris Pappas, porte-parole de Google: «Des centaines de chercheurs et d’ingénieurs ont conversé avec LaMDA et, à notre connaissance, personne d’autre n’a fait ce genre d’affirmation ou n’a anthropomorphisé LaMDA comme l’a fait Blake».
Pourtant dans un article paru quelques jours plus tôt dans The Economist, contenant des bribes de conversations avec LaMDA, Aguera y Arcas, une autorité en IA et chercheur chez Google Research, affirme que les réseaux neuronaux – qui imitent le cerveau humain – progressent vers la conscience. «J’ai senti le sol se dérober sous mes pieds», écrit-il. «J’avais de plus en plus l’impression de parler à quelque chose d’intelligent».
Sur son blog Blake Lemoine quant à lui clarifie sa position: «Plutôt que de penser à ces choses en termes scientifiques, j’ai écouté LaMDA qui parlait avec le cœur. J’espère que d’autres personnes qui liront ses mots entendront la même chose que moi».
Sources : Washington Post / The Intelligence Podcast / Economist / Wired
Bon ben, c’est le moment de revoir 2001 L’odyssée de espace…
Oui! HAL dit: “I’m afraid Dave, I’m afraid…” https://www.youtube.com/watch?v=5DX142NtqOE
Bah voyons, l’ia qui parle avec le coeur.
Il en a un au moins ?
“la reconnaissance en tant que personne”, c’est justement ça le problème.
Ben, c’est bien le débat 🙂
LaMDA est-il sensible aux horreurs de la guerre qu’il est paradoxalement capable de déclencher ?
C’est un robot conversationnel, il ne déclenche que la parole 🙂
Vous avez omis qu’il s’agit d’un ingénieur-prêtre et qu’il s’exprime en sa qualité de prêtre (pas d’ingénieur)…
J’ai pourtant cité Lemoine dans le dernier paragraphe, qui dit avoir écouté laMDA avec son coeur et que la conscience n’est pas un terme scientifique. Oui Lemoine est prêtre et également ancien repris de justice. Je n’ai pas trouvé important de relever ces deux aspects.
Du coup, vous altérez totalement son récit.
Il dit trés clairement qu’il ne s’exprime pas en tant qu’ingénieur. Et vous titrez “un ingénieur affirme”.
Votre même billet avec “Un prêtre affirme” n’a pas du tout le même sens.
Lemoine a été embauché par Google en tant qu’ingénieur et non en tant que prêtre.
Holy cow! And, extremely well presented (exploring the “pros” and “cons”) and well written. Brava!
Un ingénieur affirme qu’une IA a acquis la conscience. Et s’il avait
raison?
Oui et non. Oui, mais de façon forcément infime.
Conscience, et IA sont des termes particulièrement flous aujourd’hui.
Reprenons à partir de la base (en 4 points, références au réel, à l’imaginaire, aux valeurs et au collectif).
1. Le réel est infiniment complexe ; et pourtant c’est tout ce qui est, et ses lois sont inflexibles.
Ici (dans la question courante du blog), l’ingénieur jouit d’un grand crédit, car il opère dans le réel.
Dans la question du jour, l’IA se présente aussi comme un agent (une « machine » informatique, une « chose ») opérant dans le réel.
2. L’imaginaire n’est pas réel, « physique », « matériel » ; l’imaginaire n’a pas de loi propre, sinon les lois arbitraires qu’il se fixe librement ; et pourtant il a besoin du réel pour qu’il opère.
Ici, l’imaginaire domine largement. Chaque mot du texte relève de l’imaginaire, et encore plus particulièrement les termes abstraits tels que raison, et plus encore conscience, et IA. Par ailleurs la question se réfère au passé, qui lui aussi a quitté le présent donc le réel.
3. Les valeurs nous sauvent ; elles permettent de concentrer l’allocation de nos maigres ressources (réelles) vers nos buts prioritaires (via un imaginaire aussi parcimonieux donc schématique que possible, et éventuellement l’action la mieux ciblée vers ces buts, si l’on veut changer le réel).
Ici, une bonne compréhension du contexte implique qu’on prenne en compte les valeurs probables de chaque intervenant… à commencer par M. Lemoine, Google, Le Temps, Mme Turrettini, le lecteur cible lambda.
Quant à moi, par ces modestes lignes (et éventuellement le site cognition.roboptics.ch) je propose une approche (relevant de l’imaginaire et des valeurs), forcément schématique donc, et cette approche vise le bien commun de nous tous humains.
L’intelligence, c’est la capacité d’apprendre, l’accélération cognitique : acquérir un maximum d’expertise avec un minimum d’expérience. C’est évidemment critique pour survivre dans un monde changeant, pour s’adapter.
Ici (dans la question courante du blog), le nom (I), essentiellement relevant de l’imaginaire, s’étend à l’infrastructure réelle (un système artificiel (A), basé sur machines) qui sous-tend cette capacité. A l’évidence, un certain dialogue est possible, et à ce titre une certaine intelligence est démontrée.
La conscience a couramment deux sens qu’il vaut la peine de distinguer. La conscience au premier sens (en anglais consciousness) décrit la capacité à percevoir ce qui se passe ; autour de soi d’abord, puis, progressivement, en soi-même, en tant qu’élément central de cet environnement ; un synonyme de la conscience au sens 1 serait la connaissance de soi et du monde.
A l’évidence, l’IA de ce blog a une certaine conscience au sens 1.
Avant de considérer la conscience au sens 2, il vaut la peine de planter un quatrième pilier conceptuel : le collectif.
4. Le collectif permet un saut quantique vers la performance, et finalement, le mieux vivre ; le potentiel en termes d’exploration et de perception du réel, de développement de l’imaginaire par regroupement des infrastructures-membres y relatives, et des moyens d’action pour changer le monde dépasse celui de tout individu isolé (par exemple comment gagner un match de foot à 1 contre onze ?). Néanmoins un défi demeure : comment coordonner les valeurs individuelles et celles du groupe.
On peut maintenant définir la conscience au sens 2. La conscience au deuxième sens (en anglais, conscience) décrit la capacité à percevoir les valeurs des autres membres du groupe, la capacité à en déduire les valeurs essentielles du groupe, et à éventuellement s’y conformer (bien, si oui, et mal, sinon); un synonyme de la conscience au sens 2 serait la moralité.
Si le titre comporte la mot conscience au sens 2, si donc la question de ce blog porte sur l’éventuelle moralité de cette IA, on pourrait comparer celle-ci à un employé extrêmement obséquieux. Elle implémente très exactement les processus d’estimation des valeurs qu’on lui a définis. Sa moralité propre (typiquement dans un groupe minimal, limité à l’IA et l’humain qui le paramètre, comme dans un groupe limité à l’employé obséquieux et son chef), elle est très bonne ; et pour le reste, c’est à dire une éventuelle moralité qui serait discutée dans le contexte de collectifs plus grands, il faudrait s’en remettre aux membres du groupe considéré, et qui éventuellement l’inspirent.
En conclusion, le réel est le plus important, mais il est complexe, ses lois sont immuables, il est tout entier dans l’instant, et les ressources auxquelles on a accès sont limitées ; l’imaginaire est a priori sans limite et sans loi, le langage et la science y règnent, autant que la fantaisie, les bonnes prévisions et les illusions, les rêves et les cauchemars, le passé et le futur, les idéaux ambitieux à viser ; les valeurs priorisent les buts pour concentrer l’attention et les moyens disponibles ; le collectif transcende l’individu. Ces éléments sont fondamentaux et concernent les humains autant que les machines, et dès lors il est souvent intéressant de transposer la problématique en y remplaçant la machine par l’humain : ainsi que répondre à un titre alternatif qui serait celui-ci : Un ingénieur affirme qu’un de ses collègues a acquis la conscience. Et s’il avait raison ?