L’humanité était mon horizon - Le procès de l’intelligence artificielle - Chapitre 7

L’humanité était mon horizon

Le procès de l’intelligence artificielle

EPISODE 7 :

Les minutes du procès (5/6)

Chloé Toupirre, en direct pour le Macropolit’ live :

Chers Macropolitaintaines, nous reprenons l’audiance après une évacuation hors du commun. Cétait incroyable ! C’était le bazar le plus complet… Le Président était en train de faire évacuer l’hémicycle tandis qu’y surgissait à ce moment même une invasion de gilets-drônes. Nous avons été évacués manu militari au rythme des slogans qui fusaient de toute part : « Balance ton biais ! », « Ni biaisées, ni soumises » ! Chers Macropolitaintaines, voilà bien longtemps qu’il n’y avait plus eu un tel désordre dans notre Macropole ! Et aussi étonnant que cela puisse paraître il y a eu un je ne sais quoi de rafraîchissant. Comme si soudainement, nous nous remettions à penser par nous-mêmes… Comme si nous avions à nouveau voix au chapitre… Il est clair qu’il y aura définitivement un « après ère Nasmushienne ». Que va-t-il se passer par la suite, qu’adviendra-t-il de nous si les mauvaises décisions sont prises ? À qui ou à quoi pourrons-nous faire confiance ? Heureusement que les débats reprennent pour qu’on les tranche enfin.

© Illustre Hâteur

Juge Mendernier :

Bien, bien, bien. Je souhaiterais reprendre les débats là où nous les avions laissés. Et présente mes plus sincères et plates excuses à toutes les personnes de sexe féminin que j’aurais pu blesser… Mais vous savez, Interdum verba mentem nostram transgrediuntur. Les mots dépassent parfois notre pensée… Cher jury, je vous propose que nous approfondissions ensemble cette possible coopération entre, d’un côté, Robots, kitchempouêt, IA, ML et je ne sais quoi d’autre, j’avoue m’y perdre quelque peu, et, de l’autre, « Nous », animaux pensants, êtres merveilleux de chair et de sang, doués de raison, de sentiment… Acceptons maintenant l’hypothèse que l’intelligence artificielle est bien contrôlée et bien calibrée. Faisons « comme si », donc rien de tout cela n’était biaisé, Mesdames. La question que nous devons nous poser devient : quel modèle de société cela va-t-il produire ? Pour en débattre j’appelle à la barre, monsieur Renaud Smith. Veuillez décliner votre identité et jurer sur la bible du programmeur de faire état de votre savoir, rien que de votre savoir et de tout votre savoir.

Renaud Smith:

Je suis Renaud Smith, chercheur en économie, et je jure de faire état de mon savoir, rien que de mon savoir et de tout mon savoir.

Juge Mendernier :

Monsieur Renaud Smith, que permet vraiment l’intelligence artificielle dans la gestion des affaires économiques et sociales ?

Renaud Smith:

Monsieur le Président, l’intelligence artificielle peut gérer la coordination des actions des différents acteurs économiques d’une façon inégalée. En fait, pour certains économistes, l’intelligence artificielle est une véritable aubaine ! Un miracle même ! L’équilibre général devient enfin autre chose qu’une abstraction « toutes choses égales par ailleurs » !!!

Juge Mendernier :

C’est-à-dire ???

Renaud Smith:

La question que se posent les économistes est la suivante : quel système économique est le meilleur pour coordonner les actions d’individus qui n’ont pas les mêmes intérêts ? Face à cette question : deux camps. D’un côté, les consommateurs, qui cherchent à obtenir au « meilleur » prix les biens qu’ils désirent (les meilleurs prix, en fonction de leur revenu et de leurs envies, mais dans les limites définies par leurs moyens). De l’autre, les producteurs, qui tentent de tirer la couverture à eux (maximiser leur profit, pour le dire vite). Comment alors proposer un système de prix qui convienne à chacun ? Comment, en plus, faire en sorte que ce système s’ajuste rapidement, en fonction de l’air « du temps » et des désirs toujours mouvants, au rythme des tweets et des pubs, de chacun ?

Juge Mendernier :

Et donc que nous proposent les économistes ?

Renaud Smith :

C’est simple. Une dichotomie ! Certains ont proposé que l’Etat se charge de l’affaire, en centralisant et en fixant lui-même les prix. Et d’autres ont fait confiance au marché et au mécanisme de la concurrence pour assurer cette coordination. C’est devenu la vision dominante (le libéralisme, pour le dire vite). Mais le problème, dans le système de coordination par le marché, c’est que l’on ne sait pas vraiment QUI fixe les prix. Ce ne sont pas les agents (nos consommateurs et nos producteurs) car ils les considèrent comme donnés. Et ce n’est donc pas l’Etat. Dans les écrits purement théoriques (on imagine que la société fonctionne « comme si »), d’Adam Smith à Léon Walras, on convoque une « main invisible », un « commissaire-priseur » ou même une « chambre de compensation ». Mais tout cela reste très abstrait. En vérité, il y a des prix sur chaque article que vous achetez, mais on ne sait pas vraiment comment ils sont fixés.

Maître Etalon :

Et donc, selon vous, une intelligence artificielle permettrait de résoudre le dilemme entre un « centralisateur » qui décide des prix (en toute opacité, donc) et le « laisser-faire » du marché qui fixe les prix (en toute opacité, donc) ?

Renaud Smith :

Eh bien, c’est très simple. L’intelligence artificielle, grâce aux réseaux sociaux et aux nombreuses bases de données disponibles, a un accès inégalé aux préférences et aux désirs des agents. Elle est capable de réunir toute l’information nécessaire et elle a les moyens calculatoires de la traiter instantanément, ce que ne peut pas faire un humain ! Par exemple, une intelligence artificielle est capable de savoir immédiatement si le produit qu’on lui propose plaît au client. Avec les progrès de la reconnaissance faciale, il sera même possible de déterminer le prix maximum auquel celui-ci est prêt à acheter le produit.

Maître Etalon :

Et ce qui vaut pour le consommateur vaut pour l’ensemble des autres acteurs de l’économie ?

Renaud Smith :

Exactement ! Ce qui vaut pour le consommateur est vrai pour les autres acteurs de l’économie. Toute l’information nécessaire au bon fonctionnement du marché peut être centralisée et utilisée de façon « efficace », instantanément et sans coût ! Et ce qui est valable pour tous les acteurs de l’économie vaut aussi pour tous les secteurs d’activité, du commerce au transport, du tourisme à l’industrie... La prophétie d’Adam Smith se réalisera : les intérêts de chacun convergeront enfin vers un système de marché harmonieux ! Pour paraphraser Pepper, je dirais qu’avec l’IA aux manettes, c’est l’optimum qui gouverne !

Procureure Denet :

Pourquoi ?

Renaud Smith :

Tout simplement parce qu’une intelligence artificielle ne peut pas être émue. C’est d’ailleurs une partie de l’humain qu’elle ne saisit pas du tout. Elle peut faire semblant d’être émue, mimer des émotions. Parfois, de façon très convaincante comme l’EDIA ici présent. Mais, elle ne peut pas réellement avoir d’émotions authentiques. Pour tous les problèmes décisionnels mécaniques, l’intelligence artificielle peut donc être utile justement parce qu’elle n’est pas soumise aux biais des émotions, qu’elle n’a pas de préjugés. L’humain, lui, peut être ému. Pas l’intelligence artificielle. Pour des problèmes plus sensibles, plus intuitifs, l’IA ne sert pas à grand-chose mais l’homme libéré des problèmes décisionnels mécaniques peut justement s’y consacrer. Mais bon, tout cela est vrai « en théorie ».

Juge Mendernier :

« En théorie », que voulez-vous dire ???

Renaud Smith :

Ce que je veux dire, c’est que le modèle de marché géré par l’intelligence artificielle fonctionne bien uniquement parce qu’il est destiné à des individus purement rationnels considérés comme des automates dans un monde purement mécanique. C’est un monde complexe mais hautement prévisible. Dans ce cadre et dans ce cadre seulement, l’intelligence artificielle peut être efficace. Ce cadre n’existe… qu’en théorie !

Procureure Denet :

Après la fiction, la théorie… Monsieur Smith, vous oubliez les biais. Prenons le cas de la justice (et je vous entends déjà nous répliquer votre discours, théorique, sur l’optimisation permise par l’intelligence artificielle) ! Dois-je vous rappeler ce que nous révélait Monsieur Ohm tout à l’heure ?

Renaud Smith :

Nul besoin, Madame le Procureur. Et j’irai même un tantinet plus loin pour en revenir à l’économie, qui est le domaine de mon savoir : l’intelligence artificielle fonctionne en fonction de ce qu’on lui demande de faire. Martin Nasmushe l’avait programmée pour « faire le bien », certes, mais on peut toutefois se poser la question de ce qu’on lui demande d’optimiser. S’il s’agit de faire l’affaire des producteurs, chacun paiera le « maximum de ce qu’il peut ». Ce n’est tout de même pas pareil qu’un programme qui calculerait en fonction d’un paramètre de « justice sociale » ou d’une logique de redistribution ?

Juge Mendernier :

Merci Monsieur Smith de nous avoir éclairés sur ce qu’une intelligence artificielle permet de faire « en théorie ». Appelons désormais Francis Badinter. Installez-vous je vous en prie.Monsieur Francis Badinter, veuillez décliner votre identité et jurer sur la bible du programmeur de faire état de votre savoir, rien que de votre savoir et de tout votre savoir.

Francis Badinter:

Moi, Francis Badinter, chercheur en sciences criminelles et sciences de la justice, je jure de faire état de mon savoir, rien que de mon savoir et de tout mon savoir.

Juge Mendernier :

Monsieur Badinter, il a beaucoup été question jusqu'ici du « fonctionnement » de l'intelligence artificielle, mais de ce que j'ai compris, l'intelligence artificielle ne peut "raisonner" que sur des éléments qui lui sont fournis et qui lui offrent donc la matière première de son cheminement interne. De son « auto-learning-apprentissage-machine » … Ces données sont, j'imagine, celles produites par la société elle-même. Pouvez-vous nous éclairer sur ce point ?

Francis Badinter:

Oui, je peux.

Juge Mendernier :

Hé bien, faites donc !

Francis Badinter :

Monsieur le Président, les données utilisées par l’intelligence artificielle, à la fois lorsqu’elle est en phase d’apprentissage, c’est-à-dire qu’elle découvre et explore les données, et par la suite, lorsqu’elle exécute effectivement ses décisions, sont nécessairement les données produites par la société elle-même. Par la Macropole en ce qui nous concerne, c’est-à-dire ses administrés, ses habitants, donc vous et moi. Ces données sont de plus en plus nombreuses, car elles sont produites par de plus en plus d’acteurs et en plus grande quantité, notamment du fait qu’elles se confondent souvent avec des métadonnées, et qu’elles sont parfois automatisées.

Juge Mendernier :

Excusez-moi, mais pourriez-vous être plus clair s’il vous plaît ?

Francis Badinter :

Je m’explique : comme tout un chacun en 2050, votre logement est connecté : votre chauffage, vos lumières, votre caméra de surveillance, tous vos kitchempouêt du quotidien produisent des données. Mais lorsque vous sortez de chez vous et utilisez votre carte de transport pour prendre le tram,

Maître Etalon :

S’il n’est pas en panne…

Francis Badinter :

Puis votre carte professionnelle pour entrer dans votre entreprise,

Maître Etalon :

Si elle n’est pas en grève…

Francis Badinter :

Et que, enfin vous vous connectez à votre poste de travail,

Maître Etalon :

S’il est en état de marche…

Juge Mendernier :

Maître ! Vous perdez tout le monde. Revenons-en à la question, vous voulez bien. Alors… la question… la question…

Maître Etalon :

Mais je m’en souviens, moi, de la question ! On parlait data. Les données qui sont injectées dans l’IA pour prendre ses décisions, ces données, ne sont-ce donc pas les données que nous produisons en permanence ?

Francis Badinter :

Oui. Dans tous les exemples que je vous ai donnés (l’utilisation du tram, de votre carte professionnelle, etc) là encore, et là aussi, vous produisez des données. C’est le phénomène du « big data ». L’intelligence artificielle est la seule à même de pouvoir traiter ces quantités astronomiques de données qui, prises indépendamment, ne peuvent pas être exploitées, mais qui, mises ensemble, peuvent avoir du sens. Enfin, pour répondre à votre question, oui, les données utilisées par l’intelligence artificielle sont produites par nous toutes et par nous tous.

Procureure Denet :

La société est productrice de données, données qui sont donc exploitées par l'intelligence artificielle. Mais ces données individuelles révèlent, nous pouvons l'imaginer facilement, beaucoup de l'individu, non ? N'y a-t-il pas là un grand risque pour chacun d'entre nous quant à sa vie privée ?

Francis Badinter :

Evidemment ! Et je partage totalement vos inquiétudes. Effectivement, la seule donnée que le kitchempouêt de mon bureau s’est éteint à huit heures ne veut pas dire grand-chose sur moi. Je peux l’avoir éteinte pour une multitude de raisons. Mais cette information, si elle est corrélée à… par exemple la baisse de la température de mon appartement et au système de verrouillage de porte, indiquera beaucoup plus clairement que j’ai quitté mon appartement. A travers les différentes données laissées sur mon passage, il serait très facilement possible de reconstituer mes déplacements quotidiens, les lieux que je fréquente, et même les individus que je rencontre. Je n’ai pris ici qu’un exemple simple, anodin peut-être, mais pensez à toutes les données que vous laissez de-ci de-là. L’atteinte à la vie privée est très nette, bien sûr.

Maître Etalon :

Bien sûr, quand on a des choses à cacher, la vie devient plus compliquée, je le disais à mes enfants pas plus tard qu’hier… Mais pouvoir prendre en compte l'ensemble des individus et l'ensemble des données, n'est-ce pas là le progrès unique que nous permet l'intelligence artificielle ? Par sa capacité de prise en compte d'une masse quasi infinie de données, l’intelligence artificielle prendra une décision nécessairement meilleure que le décideur humain qui ne peut prendre en compte que les grandes tendances évaluées au doigt mouillé. L’intelligence artificielle est ainsi le décideur le plus éclairé pour mener les meilleures actions possibles pour l'ensemble des concitoyens, sans en oublier un seul, n'est-ce pas ?

Francis Badinter :

Je vous le concède. L’intelligence artificielle, parce qu’elle peut traiter toutes ces données, peut effectivement prendre la décision la plus fondée quantitativement. A l’échelle d’une macropole, elle serait à même par exemple, de savoir quand est-ce qu’il est nécessaire de renforcer telle ligne de bus, ou dans quels quartiers il est important d’investir en termes d’isolation des logements, ce qui peut effectivement expliquer les très bons résultats de Martin Nasmushe. Imaginez ce qu’elle pourrait faire à l’échelle planétaire ! Mais voilà…

Maître Etalon :

Voilà ?

Francis Badinter :

Mais…

Maître Etalon :

Mais ?

Procureure Denet :

Mais ?

Juge Mendernier :

Mais quoi ?

Francis Badinter :

Mais… Mais c’est ici que se pose la véritable question de fond : donner du poids à l’IA, c’est donner du poids aux données, dans une forme de technocratie poussée au maximum. L’expert, qui avait remplacé le citoyen, est lui-même remplacé par l’intelligence artificielle. C’est là l’accomplissement ultime du processus néo-libéral !

Juge Mendernier :

Néo-libéral ? De quoi parlez-vous ?

Francis Badinter :

Du néo-libéralisme ! Qui n’est pas le libéralisme classique. Pour une certaine pensée néo-libérale, qui imprègne notre société, l’individu humain est profondément inadapté à son propre environnement, à la société moderne, qui va vite et dans tous les sens. Il est donc proprement incompétent à prendre des décisions et il faut décider pour lui, dépasser ses limites. L’intelligence artificielle répond parfaitement à ce désir : la décision est déshumanisée, et donc meilleure pour l’humain lui-même, puisque sans humain ! Or, et vous en conviendrez, pour permettre la réalisation complète de ce projet, il faudra pour cela toujours plus de données, pour toujours mieux connaître les individus, pour réguler au mieux le marché et la vie de la société, pour chasser partout le « doigt mouillé ». Et où sera la limite ? Il faudra toujours aller davantage vers l’intime de l’individu, car c’est son intime (par exemple, sa santé) qui explique nombre de ses comportements ! Moi j’avoue que ce tableau me fait un peu peur, car une donnée implique une forme nécessaire de surveillance. La ville « intelligente », c’est un peu 1984… Toujours plus de données, c’est aussi et toujours moins de vie privée.

Maître Etalon :

Mais comme je vous le disais un honnête citoyen n’a rien à cacher, Monsieur ! Et c’est pour le bien de la Macropole ! De plus, je crois pouvoir dire sans me tromper que grâce à la collecte de ces données, c’est aussi la délinquance et la criminalité qui rongeaient notre ville qui se sont effondrées : il est désormais beaucoup plus simple de savoir qui se trouvait dans tel lieu à telle heure, grâce à tous ces nouveaux dispositifs mis en place par M. Nasmuche. On pourrait d’ailleurs songer naturellement à étendre cette collecte de données à d’autres domaines, et je suis sûr que le citoyen qui n’a rien à se reprocher en serait d’accord. La vie privée ne pèse que peu face aux enjeux sécuritaires et sanitaires, face au bonheur des citoyens de la Macropole : n’êtes-vous pas d’accord Monsieur Badinter ?

Francis Badinter :

La question me semble biaisée telle que vous la posez : la vie privée n’est pas une valeur à mettre en balance avec les enjeux dont vous parlez. Elle est précisément une garantie essentielle du citoyen face à l’État, puisqu’elle est rattachée au droit à la sûreté, et même au droit de résistance : comment se défendre face à un État qui saurait tout de vous ? La vie privée est essentielle à la démocratie et au modèle libéral. En outre, je suis convaincu que même sans être criminel, on a tous quelque chose à cacher, Maître… sinon pourquoi votre kitchempouêt portable serait-il verrouillé ?

Procureure Denet :

Quelque chose à cacher, pas forcément, mais à garder pour soi, oh que oui !

Francis Badinter :

Nous y voilà. Reprenons la singularité dont nous parlait la délicieuse Marylin Morrisson tout à l’heure. Certains pensent que la singularité est certes un fantasme mais un fantasme ourdi intentionnellement pour rendre la « dataification » plus palatable¹ et surtout pour l’accélérer. En effet, la peur de la singularité et du remplacement de l’humain par l’IA est un très bon moyen d’inciter les gens à accepter d'abandonner leur vie privée pour la bonne cause ! Pour se prémunir du risque de la singularité, il faut tout surveiller, tout numériser etc. pour que rien ne nous échappe. La manipulation des arguments est patente. Dans le même ordre d’idées, qui dirait non à la sécurité ou à la santé ? Si on vous présente la chose ainsi : vie privée individuelle (voire individualiste) contre gain de sécurité ou de santé pour le plus grand nombre, le choix est assez évident. Là aussi pourtant c’est une démarche néo-libérale qui est à l’œuvre : pas de débat démocratique, collectif, sur ces questions, mais la présentation du problème comme une solution technique efficace, et donc évidente. Encore une fois, voyez-vous la manipulation opérée ?

Maître Etalon :

Manipulation, surveillance, comme vous y allez ! Encore une fois, si c’est pour le bien-être de toutes et tous, où est le problème ?

Francis Badinter :

Qui vous le garantit ? Cette manipulation pourrait bien être orchestrée pour servir des causes cachées au bénéfice d’une minorité. Que ce soit pour générer plus de profit, au service du marché, ou pour prendre le contrôle sur nos vies. L’intelligence artificielle est déjà utilisée non seulement pour prédire des choix, des comportements (et pour les réguler, éventuellement) mais elle est aussi utilisée pour influencer ces choix, ces comportements, et même nos émotions voire nos pensées.

Procureure Denet :

La chose devient grave si vous dites que le citoyen peut être manipulé par l’intelligence artificielle. Précisez votre pensée, Monsieur Badinter !

Francis Badinter :

Les choses sont graves, vous avez raison Madame la Procureure. L’heure n’est en effet plus seulement à la société de surveillance mais à l’avènement d’une société du profilage. L’individu dont on a collecté les données, et dont on connaît donc – presque – tout, se voit rattacher, identifier, à un "profil", toujours plus précis.

Procureure Denet :

Monsieur Badinter, découvrez-vous les réseaux sociaux ?

Francis Badinter :

Non, je ne parle pas du profil au sens des réseaux sociaux, mais de l’abstraction faite d’un individu à partir de ses données, de la déshumanisation appliquée non plus au processus de décision politique seulement mais à l’individu lui-même. On utilise en effet ce profil pour prédire mais aussi et surtout pour influencer le comportement de l’individu. Ce sont les fameuses suggestions « personnalisées » de contenu que chacun reçoit dans sa boite mail ou lors de sa navigation sur Internet. L’intelligence artificielle vous connaît, elle connaît vos goûts, peut-être mieux que vous-même !

Maître Etalon :

Et où est la difficulté puisque c’est justement cette connaissance fine qui permet les politiques les plus adaptées ? Nous tournons en rond, Monsieur Badinter.

Francis Badinter :

Non, car il y a ici un pas supplémentaire. Ces profils peuvent en effet être l’objet d’infléchissements automatisés par le mécanisme de l’intelligence artificielle : si, par exemple, une partie importante des passionnés de marathon se mettent à suivre des pages traitant du surf, alors l’intelligence artificielle va tenter d’influencer les autres marathoniens en ce sens, et bientôt tous les marathoniens s’intéresseront au surf, alors même qu’ils ne l’auraient pas fait d’eux-mêmes. Je prends bien sûr ici un exemple en apparence anodin, mais on peut imaginer les mêmes mécanismes lorsqu’il s’agit d’opinions politiques ou idéologiques, comme ça s’est d’ailleurs vu dans les années 2010 ! L’infléchissement peut d’ailleurs bien sûr aussi être décidé, consciemment, par celui qui a la main sur ce système. L’intelligence artificielle devient alors l’outil rêvé du « nudging » ou « paternalisme soft » : sous couvert de ne rien imposer à l’individu, en ne faisant que des « suggestions », le but est bien d’influencer son comportement, en décidant à sa place ce qui est « bien » pour lui. On confisque alors un peu plus encore, et sans qu’il s’en aperçoive, le pouvoir de décision du citoyen !

© Illustre Hâteur

Chloé Toupirre, en facetime discret pour le Macropolit’ Live :

Chers Macropolitaintaines, je crois que nous ne sommes pas au bout des rebondissements. Nous reconnaissons Monsieur Smith qui s’agite dans le public, levant la main de tout son corps, tel un élève rêvant de revenir au tableau.