L’humanité était mon horizon - Le procès de l’intelligence artificielle - Chapitre 5

L’humanité était mon horizon

Le procès de l’intelligence artificielle

EPISODE 5 :

Les minutes du procès (3/6)

© Illustre Hâteur

NAO :

Je ne suis pas un jouet Monsieur le Président, je suis une petite chose toute mignonne dotée d’une Intelligence. Artificielle soit, mais d’une intelligence tout de même !

Juge Mendernier :

Encore une… Bon enfin vous, vous avez la parole, puisque l’autre là, cette EDIA, ne l’a pas… Nous vous écoutons alors ! NAO, veuillez décliner votre identité et jurer sur la table des trois lois d’Asimov-Campbell d’en respecter leur contenu, rien que leur contenu et tout leur contenu.

NAO : Salut c’est moi NAO, j’suis le petit robot, qui rend service de la crèche à l’hospice.¹ Premièrement, je jure de ne blesser aucun être humain, ni de permettre, par mon inaction, qu’un humain soit blessé. Deuxièmement, je jure d’obéir aux ordres qui me sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi. Troisièmement, je jure de protéger mon existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.

Maître Etalon :

Grand merci, Nao, de ce rappel des lois qui vous gouvernent vous les robots. Comment ça va depuis la dernière fois ?

NAO :

Salut ! Ben ! Ça va, ça va, quoiqu’en ce moment avec tout ce qui se passe c’est un petit peu le bazar dans mes circuits… Mais on fait aller comme on dit à l’HEPAD… Et toi comment vas-tu ? Ça fait longtemps qu’on…

Juge Mendernier :

Non mais je vous en prie, gardez vos échanges personnels pour d’autres lieux, nous ne sommes pas dans un salon de thé !  Maître, on avance s’il vous plaît…

Maître Etalon :

Très bien Monsieur le Président, toutes nos excuses.  Messieurs, Mesdames, NAO, vous avez tous pu lire l’interview exclusive lundi 4 novembre dernier de Pepper le grand robot, leader de la manif’ pour toutes les intelligences, réalisée par Chloé Toupirre pour « Spéciale Envoyée » !

Procureure Denet :

Je me permets de demander où est Pepper ? Aurait-elle refusé de comparaître, peut-être ?

Maître Etalon :

Point du tout. Pepper le grand robot s’excuse de son absence pour cause de nano-grippe virale. NAO, as-tu quelque chose à ajouter à ce que Pepper nous a révélé dans son interview sur tout le bien que vous pouvez faire, vous les IA, robots et autres congénères pour nous ?

NAO :

Non. Je suis d’accord avec Pepper. Nous faisons ce que vous voulez. Nous faisons déjà beaucoup et chaque jour nous progressons pour mieux faire.

Maître Etalon :

Justement NAO, raconte-nous par exemple, et puisque c’est ton domaine, ce que peut faire l’intelligence artificielle pour les personnes âgées ?

NAO :

Nous sommes une compagnie supplémentaire pour les personnes âgées. On peut citer par exemple le robot phoque PARO qui permet de réduire l’anxiété des personnes âgées atteintes de la maladie d’Alzheimer Tout comportement chez nous est fait pour apaiser les personnes tout en faisant en sorte qu’elles n’aient pas peur du robot. Je suis également présent en service de gériatrie où j’anime des séances de rééducation.

Maître Etalon :

NAO, tout ceci attise notre curiosité et nous aimerions savoir… Ressens-tu « la vie » ? As-tu des sentiments, des joies et des peines ?

NAO :

Bien entendu… tititdadamtididoudamdamdididoudamdam

Chloé Toupirre, en facetime discret pour le Macropolit’Live :

Incroyable, le petit NAO vient de se mettre à danser au rythme de Staying Alive !

Procureure Denet :

Objection Votre Honneur !

Maître Etalon :

Je vous rappelle, Madame la Procureure, que les objections n’existent toujours pas dans le droit français !

Procureure Denet :

Très bien, je reformule. Supercherie, votre honneur !

Juge Mendernier :

Supercherie ???

Procureure Denet :

Oui supercherie, Monsieur le Président ! Et je vais dans l’instant vous le démontrer ! Mieux ! Je vais vous le prouver ! NAO, êtes-vous doté de libre-arbitre ?

NAO :

Heu… Oui, je peux danser si tu veux. tititdadamtididoudamdamdididoudamdam

Procureure Denet :

Nao, arrêtez de me tutoyer, s’il vous plaît ! Nous n’avons pas gardé les boulons ensemble ! Petit robot, sachez-le, nous n’avons rien en commun… Et puis arrêtez de danser aussi… Aussi mignonne que soit cette danse et dussé-je me rendre antipathique aux yeux de cette Cour et du monde entier, je vais vous dire, moi, la stricte et pure vérité. Vous n’êtes rien NAO ! Rien qu’une coquille vide, rien que du plastique puant et polluant, une paire de cartes mères primaires, rien que des câbles entortillés et de l’acier peinturluré de manière clinquante qui finiront bientôt dans ce qu’il reste de nos océans. Regardez ce fil électrique qui traîne au sol et que je ne quitte pas des yeux depuis tout à l’heure ! Ce fil que je suis pas à pas pendant que ce polluant petit jouet nous entourloupe de sa danse. Eh bien, je suis sûre qu’à son extrémité nous trouverons quelque chose de très intéressant, n’est-ce pas Maître Etalon ?

Chloé Toupirre, en facetime discret pour le Macropolit’ Live :

C’est incroyable ! Alors que NAO se remet subitement à danser (cette fois-ci en entonnant Gangnam style), Madame la Procureure Denet, maintenant à quatre pattes dans le tribunal, suit pour ainsi dire le fil de sa pensée et le câble de NAO. Elle agrippe le câble sans relâche… Pliée en quatre, elle fend le public comme Moïse en son temps les eaux de la Mer Morte… et… Elle trouve finalement à quoi ce câble est relié ! Une jeune femme tenant une tablette dans ses mains !

© Illustre Hâteur

Procureure Denet :

Ah, ah, ah ! Voilà donc toute la vraie vérité vraie, Monsieur le Président ! Voilà que nous découvrons au bout du fil qui est vraiment NAO ! Chers Macropolitaintaines, c’est cette demoiselle qui contrôle NAO, à l’aide de sa petite tablette. C’est son esprit à elle, son intelligence, ses mots qui vous répondent ! N’est-ce pas Madame qui, je suppose, doit être élève-ingénieure en robotique et apprentissage ? Ou du moins quelque chose de ce genre.

Maître Etalon :

Ah, alors là, je m’insurge Monsieur le Président ! On ne fait pas parler n’importe qui dans ce procès. Cette personne n’est absolument pas répertoriée ni comme témoin, ni comme expert ! Il y a là un vice de forme flagrant…

Juge Mendernier :

Taisez-vous donc ! Madame, je vous somme de répondre immédiatement à la question que vous pose Madame la Procureure Denet.

Nina Hamilton :

Euh… Oui alors bon voilà Monsieur le Président, je m’appelle Nina Hamilton et je suis effectivement élève-ingénieure en robotique et apprentissage. Et, pour tout vous dire, je ne sais pas vraiment ce que je fais là d’ailleurs. J’ai reçu un coup de fil il y a quelque temps pour des demandes de programmation de robots. Une Pepper, un NAO, pourquoi pas ? C’est ma compétence ! Et de fil en aiguille je me suis retrouvée là, au bout du fil. On m’a vaguement parlé de démonstration scientifique sur les robots… Moi, vous savez, je ne fais que mon travail de médiation scientifique. Monsieur le Président, je ne voudrais pas avoir de problème.

Juge Mendernier :

Ne vous inquiétez pas jeune demoiselle, ce n’est pas vous qui allez avoir des problèmes. Maître Etalon, des précisions à nous apporter sur cette scène à laquelle nous venons d’assister ?

Maître Etalon :

Euh… Oui… C’est-à-dire que… bon je ne comprends pas ce qui a pu se passer… Sûrement une effroyable confusion dans mon équipe… Bon à la base ce devait être Pepper qui devait venir… Alors je pense que dans la panique de ce remplacement à la va-vite mes équipes ont dû mal préparer le témoin… NAO devait bien évidemment venir seul… Voilà un oubli Monsieur le Préjudent… heu, Monsieur le Président…

Juge Mendernier :

Eh bien moi, suite à ce fiasco qui défie les règles de ce tribunal, je vous mets un avertissement. Encore une tentative comme celle-ci et je vous destitue de l’affaire. C’est bien compris ?

Maître Etalon :

Parfaitement Monsieur le Préjudent.

Nina Hamilton :

Euh, dites, Monsieur le Préjudent, puis-je rester là, déconnectée bien sûr, c’est pour ne pas perdre le fil ?

Juge Mendernier :

Oui, je n’y vois aucun problème. A votre manière, vous avez apporté quelques matières à réflexion et la Cour – et Monsieur le PréSIdent vous en remercie.

Procureure Denet :

Monsieur le Président, vous le voyez bien, aucune intelligence artificielle n’est encore autonome ! Aucune intelligence artificielle ne peut venir témoigner sans son programmeur !!!  De mon côté, cher confrère, je vous avertis moi aussi, encore un coup de ce genre et je vous signale au Barreau… Bon, quant à moi et pour mettre le dernier coup de marteau sur le clou de ma démonstration, j’appelle à la barre mon prochain témoin, le quadruple champion du monde de robots « autonomes » footballeurs, et néanmoins chercheur en robotique autonome et robotique humanoïde : Monsieur Carlos Plank.

Juge Mendernier :

Monsieur Plank, comme à tout le monde, je vais vous demander de jurer sur la bible du programmeur, de faire état de votre savoir, rien que de votre savoir et de tout votre savoir.

Carlos Plank:

Moi, Carlos Plank, chercheur en robotique autonome et robotique humanoïde je jure de faire état de mon savoir, rien que de mon savoir et de tout mon savoir.

Juge Mendernier :

Monsieur Plank, et pour reprendre les arguments de Madame la Procureure, tout ceci n’est-il qu’une vaste supercherie ?

Carlos Plank :

Eh bien pour tout vous dire, Monsieur le Président, et pour être plus précis, j’ai bien peur que le robot ici présent, devant nous, ne soit ni plus ni moins effectivement qu’un magnétophone. Je suis sûr que vous vous souvenez de ce qu’est un magnétophone, n’est-ce pas ?²Il n’est qu’une pâle représentation de ce que peut-être une intelligence artificielle telle que nous la concevons, qui à son tour reste tellement en deçà de ce que nous pouvons imaginer ! Ou plutôt projeter... NAO ou Pepper sont avant tout des surfaces de projection. Ils ont été conçus pour ça, mais à dire vrai ça les sert et les dessert en même temps.

Maître Etalon :

Ça les dessert ?

Carlos Plank :

Oui, c’est-à-dire avoir cette forme humanoïde et bouger avec des mouvements qui nous rappelle les nôtres font que les humainmaines lui portent ainsi un intérêt particulier, y voient quelque chose d’émouvant. Et l’empathie dont ils font l’objet nous pousse à accorder du crédit à leur parole, à espérer un comportement en conséquence, humain. Cela crée chez nous un trouble. Monsieur le Président, j’ai le regret de vous annoncer que la phrase que NOAà a prononcée lorsqu’il jurait au début de son témoignage, « je jure de ne blesser aucun être humain », n’a pas de sens pour lui, il l’a simplement apprise par cœur. Enfin disons qu’on lui a fait apprendre par cœur.

Procureure Denet :

Oui, bon ben voilà… Alors, bon, donc, ben le débat est clos, non ? Monsieur le Président, vous pouvez d’ores et déjà taper avec votre marteau.

Maître Etalon :

Pardon ? Mais que…

Procureure Denet :

Oui, c’est très clair cher confrère, nous n’allons tout de même pas mettre des magnétophones au pouvoir ! C’est absurde !

Carlos Plank :

Attendez, ce n’est pas si simple. Il y a aussi un phénomène d’intelligence qui nous échappe. Ce phénomène n’attire pas l’attention jusqu’à présent car il n’offre pas de surface de projection. Mais aujourd’hui des algorithmes régissent notre vie, et des pans entiers de la société, sur la base d’une entité difficile à cerner qui a beaucoup plus d’impact que ces NAO et ces Pepper. Cette intelligence artificielle ne joue pas au jeu de go ni au foot, mais elle sait tout sur tout en temps réel.

Maître Etalon :

Ah ! Oui, voilà… C’est cette forme d’intelligence artificielle qui a été incorporée dans l’EDIA ! Rien à voir avec un magnétophone, donc ! C’est beaucoup plus subtil, là… Et nous voyons bien le bilan de l’EDIA !

Procureure Denet :

Magnétophone ou pas, ça ne l’a pas empêché de bugguer et de mettre en danger la vie des macropolitaintaines.

Maître Etalon :

Et vous cher confrère, tout humain que vous êtes, seriez-vous à l’abri de tout bug ? Voulez-vous que je vous fasse le bilan de vos dernières affaires ? Pensez-vous faire toujours des choix adéquats ? Je ne crois pas, à la vue des nombreuses affaires que vous avez perdues dernièrement et de l’inanité de vos réquisitoires…

Procureure Denet :

Moi, quand je vois la liste de vos témoins je me demande si ce n’est pas un algorithme qui vous les a trouvés tant ils échappent au bon sens commun. Et au passage, souhaiteriez-vous que je vous attaque pour diffamation ?

Maître Etalon :

Oh, excusez-moi, mais ne vous laisseriez-vous pas là gagner par des sentiments qui troubleraient votre jugement et vous pousseraient à faire un acte de cour de récréation en m’attaquant ? Un algorithme ne m’aurait jamais conseillé d’agir de la sorte ! Mais, oui, peut-être me suis-je fais aider pour ma liste de témoins. Par un algorithme ? Certes, mais uniquement afin de proposer des témoins des plus pertinents !

Procureure Denet :

Ah ben oui… Nous le voyons, oui… NAO, quelle riche idée ! Sur le papier, ça tenait peut-être la route mais face à la Cour, là, c’est une autre histoire ! Vous venez de démontrer la supériorité de mon esprit humain face à la bêtise sans âme de vos manigances algorithmées !

Maître Etalon :

Mais, mais, mais… Vous dites cela, ma chère consœur, parce que vous ne savez pas voir ! Votre regard est troublé par trop d’émotion. Vous ne tenez pas vos nerfs, prenez un peu de hauteur ataraxique !

Procureure Denet :

Et gna gna gna et gna gna gna… ce que vous pouvez être stupide !

Maître Etalon :

C’est d’avoir vu NAO qui vous fait retomber en enfance ?

Procureure Denet :

Moi, je ne vous parle plus !

Maître Etalon :

Ben moi non plus alors !

Procureure Denet :

Non c’est moi qui l’ai dit en premier…

Maître Etalon :

C’est c’lui qui l’dit qui y est d’abord !

Juge Mendernier :

Monsieur, Madame ? S’il vous plaît, dans mon bureau immédiatement !!! Bien, je propose une petite suspension d’audience le temps que l’on règle quelques petits problèmes de communication… Au moins preuve est faite que l’humainmaine peut bugger… Nous reprendrons l’audience dans quinze minutes.

Carlos Plank :

Heu… Et mon témoignage du coup… je…

Juge Mendernier :

Ah… Oui… Désolé… Vous pouvez retourner à votre place.

Juge Mendernier :

Bien, bien, bien. Monsieur Davu, je vous prie, veuillez ouvrir le boxalarium des témoins afin de faire entrer Monsieur Pascal Pascal avec qui nous allons poursuivre notre recherche de la vérité… Ah la vérité… Veritas temporis filia est. La vérité est fille du temps. Et de cette vérité nous l’espérons surgira l’imputation des responsabilités. Ah, la responsabilité ! Vtrum obnoxii esse debemus an non ? Haec est quaestio. Être ou ne pas être responsable, telle est la question !

Juge Mendernier :

Monsieur Pascal Pascal, et sans épuiser je l’espère la formule consacrée, veuillez décliner votre identité et jurer sur la bible du programmeur de faire état de de votre savoir, rien que de votre savoir et de tout votre savoir.

Pascal Pascal:

Moi Pascal Pascal, chercheur en neurosciences computationnelles³, je jure de faire état de mon savoir, rien que de mon savoir et de tout mon savoir.

Juge Mendernier :

Monsieur le chercheur, afin de tenter d’y voir plus clair sur cette question des responsabilités, j’ai pour vous la question suivante : si tout est programmé d’avance, alors ce n’est pas vraiment l’intelligence artificielle qui buggue, et nous pouvons donc incriminer le programmeur, car c’est lui qui a commis une erreur de programmation ?

Pascal Pascal:

Nous ne pouvons pas vraiment dire ça, non, car, à la différence d'un automate préprogrammé, pour lequel on sait garantir certaines propriétés de comportement, le principe même d'un robot ou d'une intelligence artificielle est aussi d'interagir avec son environnement, de s'adapter et donc de se modifier en fonction de son expérience, ce qui rend difficile toute garantie de comportement. Donc ce qu'on programme, ce n'est pas le comportement, ce sont les « principes » qui vont régir ce comportement, son adaptation et son expression, rien de plus.

Procureure Denet :

C’est très intéressant ça, je souhaiterais avoir plus de précisions s’il vous plaît. Entendez-vous par là que le comportement de l’intelligence artificielle n’est pas « sous-contrôle » ? Qu’il est … « aléatoire » ???

Pascal Pascal :

Pour le type d'intelligence avancée dont nous parlons ici, un des éléments importants pour faciliter la communication avec les humains va justement être de paraître humain, avec les mêmes hésitations et les mêmes incohérences. Par exemple, un principe souvent mis en œuvre est celui dit d'exploitation et d’exploration. D’« exploitation » car, pour paraître humain, il faut le plus souvent exploiter ses connaissances et son expérience passée. Et d’« exploration » car parfois, pour être créatif et trouver des solutions nouvelles, il faut aussi explorer, c'est-à-dire mettre une part d'aléatoire dans son comportement. Difficile donc de donner une garantie de qualité de comportement dans ces conditions. Mais paradoxalement, c'est aussi ce qu'on voulait avoir, à savoir : un comportement typiquement humain. Maintenant, pour parler d'un effondrement complet de performance, comme celui auquel nous avons assisté l'autre jour, lors du bug de l’EDIA, disons que pour en parler plus précisément, il faudrait pouvoir observer de plus près le cerveau hybride d’Edi Nasmushe, mais on peut imaginer deux types de problèmes : soit un problème matériel (panne électronique) que l'on pourrait rapprocher d'un effet AVC (accident vasculaire cérébral) soit un problème logiciel, le programme de gestion de comportement étant tellement complexe qu'il n'est pas exclu que parfois il passe par des états non prévus et non désirés, comme on peut observer parfois dans certains états de folie.

Juge Mendernier :

Certes, mais qui est alors responsable du bug, au final ?

Pascal Pascal :

Qui rendre responsable de cet accident ? En tout cas, à mon avis, pas celui qui l'a programmé car on peut supposer qu'il n'aurait jamais pu développer un tel système s'il avait voulu en garder la maîtrise complète. Si on veut obtenir les qualités d'un comportement humain, il faut aussi en accepter les défauts...

Maître Etalon :

Et c’est parfois les défauts qui font les qualités, je disais ça encore hier à ma femme… Êtes-vous bien en train de nous dire que le principal problème est justement d’avoir voulu donner une apparence « humaine » à cette intelligence ?

Pascal Pascal :

Si vous voulez mon avis, le problème principal de cette affaire, c'est bien que la mise au point de l'intelligence artificielle ait dû se faire dans la clandestinité. Si on pouvait développer ces systèmes au grand jour, on pourrait très bien imaginer un système de certification comme dans l'aviation : non pas avec une preuve de perfection, mais avec la garantie que la probabilité de panne est inférieure à un certain niveau.

Procureure Denet :

Pourriez-vous, Monsieur, nous en dire un peu plus sur le parallèle avec l’avion ? Parce que moi, ce que ça m’inspire c’est que confier nos décisions à une intelligence artificielle, c’est un peu comme monter dans un avion : la probabilité que ça se passe mal est très faible mais quand ça se passe mal, c’est définitif ! Du coup, serions-nous prêts à prendre ce risque aussi minime soit-il « au sens statistique » ?

Pascal Pascal :

Eh bien… Pour vous donner une échelle de valeur, dans l'aéronautique civile, les taux acceptés pour des défaillances pouvant conduire à une catastrophe sont de 1 sur un milliard par heure de vol. Et, bon, ben, un milliard d'heures ça fait plus de 100 000 ans ! Quand vous montez dans un avion vous acceptez implicitement ça, ou plutôt en fait, vous l'oubliez car vous savez que des organismes d'homologation vérifient que les systèmes aéronautiques remplissent ces normes en leur faisant subir des tests. Pourquoi ne pas imaginer les mêmes principes d'homologation pour certaines fonctions que l'on jugerait critiques pour des intelligences artificielles décisionnelles ? Et si nous refusions cela, alors est-on prêt à se passer des qualités dont cette EDIA a fait profiter notre communauté toutes ces années ?

Juge Mendernier :

Intéressante question s’il en est, Monsieur Pascal Pascal, et qui m’offre une parfaite transition pour inviter Monsieur Johnny Russel à la barre pour la développer.