Nexus

[ Fonctions d’évaluation et explications ]

L'algorithme COMPAS, par exemple, évalue les risques en tenant compte des réponses à un questionnaire de 137 questions. Il en va de même pour un algorithme bancaire qui refuse de nous accorder un prêt. Si le règlement GDPR de l'UE oblige la banque à expliquer la décision de l'algorithme, l'explication ne prendra pas la forme d'une seule phrase, mais plutôt de centaines, voire de milliers de pages remplies de chiffres et d'équations.

"Notre algorithme", pourrait-on lire dans la lettre imaginaire de la banque, "utilise un système de points précis pour évaluer toutes les demandes, en tenant compte d'un millier de données différentes. Il additionne tous les points de données pour obtenir un score global. Les personnes dont le score global est négatif sont considérées comme des personnes à faible solvabilité, trop risquées pour se voir accorder un prêt. Votre score global est de -378, c'est pourquoi votre demande de prêt a été refusée". La lettre peut ensuite fournir une liste détaillée des mille facteurs pris en compte par l'algorithme, y compris des éléments que la plupart des humains pourraient juger non pertinents, tels que l'heure exacte à laquelle la demande a été soumise ou le type de smartphone utilisé par le demandeur. Ainsi, à la page 601 de sa lettre, la banque pourrait expliquer que "vous avez déposé votre demande à partir de votre smartphone, qui était le dernier modèle d'iPhone. En analysant des millions de demandes de prêt antérieures, notre algorithme a découvert une tendance : les personnes qui utilisent le dernier modèle d'iPhone pour déposer leur demande ont 0,08 % plus de chances de rembourser le prêt. L'algorithme a donc ajouté 8 points à votre score global pour cette raison. Cependant, au moment où votre demande a été envoyée depuis votre iPhone, sa batterie n'était plus qu'à 17 %. En analysant des millions de demandes de prêt antérieures, notre algorithme a découvert une autre tendance : les personnes qui laissent la batterie de leur smartphone descendre en dessous de 25 % ont 0,5 % de chances en moins de rembourser le prêt. Vous avez perdu 50 points pour cela".

Vous pouvez estimer que la banque vous a traité injustement. "Vous pourriez vous plaindre : "Est-il raisonnable de refuser ma demande de prêt parce que la batterie de mon téléphone est déchargée ? Il s'agit là d'un malentendu. "La batterie n'était pas la seule raison", vous expliquera la banque. "Ce n'est qu'un facteur parmi mille autres que notre algorithme a pris en compte.

"Mais votre algorithme n'a-t-il pas vu que mon compte bancaire n'a été à découvert que deux fois au cours des dix dernières années ?"
"Il est évident qu'elle l'a remarqué", pourrait répondre la banque. "Regardez la page 453. Vous avez obtenu 300 points pour cela. Mais toutes les autres raisons ont fait chuter votre score global à -378."

Bien que cette façon de prendre des décisions puisse nous sembler étrangère, elle présente manifestement des avantages potentiels. Lorsqu'on prend une décision, il est généralement bon de tenir compte de toutes les données pertinentes plutôt que de se limiter à un ou deux faits saillants. Bien entendu, la question de savoir qui doit définir la pertinence d'une information peut donner lieu à de nombreux débats. Qui décide si quelque chose comme les modèles de smartphones - ou la couleur de la peau - doit être considéré comme pertinent pour les demandes de prêt ? Mais quelle que soit notre définition de la pertinence, la capacité à prendre en compte davantage de données sera probablement un atout. En effet, le problème de nombreux préjugés humains est qu'ils se concentrent sur un ou deux points de données seulement - comme la couleur de peau, le handicap ou le sexe d'une personne - tout en ignorant d'autres informations. Les banques et autres institutions s'appuient de plus en plus sur des algorithmes pour prendre des décisions, précisément parce que les algorithmes peuvent prendre en compte beaucoup plus de données que les humains.

Mais lorsqu'il s'agit de fournir des explications, cela crée un obstacle potentiellement insurmontable. Comment un esprit humain peut-il analyser et évaluer une décision prise sur la base de tant de points de données ? On peut penser que la Cour suprême du Wisconsin aurait dû obliger la société Northpointe à révéler comment l'algorithme du COMPAS a décidé qu'Eric Loomis était une personne à haut risque. Mais si les données complètes avaient été divulguées, Loomis ou la Cour auraient-ils pu les comprendre ?

Il ne s'agit pas seulement de prendre en compte de nombreux points de données. Le plus important est peut-être que nous ne pouvons pas comprendre la manière dont les algorithmes trouvent des modèles dans les données et décident de l'attribution des points. Même si nous savons qu'un algorithme bancaire retire un certain nombre de points aux personnes qui laissent la batterie de leur smartphone descendre en dessous de 25 %, comment pouvons-nous évaluer si c'est juste ? L'algorithme n'a pas été alimenté en règles par un ingénieur humain ; il est parvenu à cette conclusion en découvrant un modèle dans des millions de demandes de prêt antérieures. Un client humain peut-il examiner toutes ces données et évaluer si ce modèle est effectivement fiable et impartial ? […]

Pour contrôler les algorithmes, les institutions de régulation devront non seulement les analyser, mais aussi traduire leurs découvertes en récits compréhensibles par les humains. Dans le cas contraire, nous ne ferons jamais confiance aux institutions de régulation et nous pourrions plutôt nous fier aux théories de la conspiration et aux leaders charismatiques. Comme indiqué au chapitre 3, il a toujours été difficile pour les humains de comprendre la bureaucratie, car les bureaucraties se sont écartées du scénario des drames biologiques, et la plupart des artistes n'ont pas eu la volonté ou la capacité de dépeindre les drames bureaucratiques. Par exemple, les romans, les films et les séries télévisées sur la politique du XXIe siècle ont tendance à se concentrer sur les querelles et les relations amoureuses de quelques familles puissantes, comme si les États actuels étaient gouvernés de la même manière que les tribus et les royaumes anciens. Cette fixation artistique sur les drames biologiques des dynasties occulte les changements très réels qui ont eu lieu au cours des siècles dans la dynamique du pouvoir.

Comment les fonctionnaires soviétiques identifiaient-ils exactement les koulaks ? Dans certains villages, les membres locaux du parti s'efforçaient consciencieusement d'identifier les koulaks à l'aide de mesures objectives, telles que le nombre de biens qu'ils possédaient. Ce sont souvent les agriculteurs les plus travailleurs et les plus efficaces qui ont été stigmatisés et expulsés. Dans certains villages, les communistes locaux ont profité de l'occasion pour se débarrasser de leurs ennemis personnels. Certains villages ont simplement tiré au sort qui serait considéré comme un koulak. D'autres villages organisaient des réunions communales pour voter sur la question et choisissaient souvent des fermiers isolés, des veuves, des personnes âgées et d'autres "sacrifiables" (exactement le genre de personnes qui, au début de l'Europe moderne, étaient les plus susceptibles d'être considérées comme des sorcières).

L'absurdité de l'opération est illustrée par le cas de la famille Streletsky, originaire de la région de Kurgan, en Sibérie. Dmitry Streletsky, qui était alors adolescent, s'est souvenu des années plus tard de la façon dont sa famille a été qualifiée de koulaks et sélectionnée pour la liquidation. Serkov, le président du Soviet du village qui nous a déportés, a expliqué : "J'ai reçu l'ordre [du comité du parti du district] de trouver 17 familles koulaks à déporter. J'ai formé un comité des pauvres et nous avons siégé toute la nuit pour choisir les familles. Il n'y a personne dans le village qui soit assez riche pour remplir les conditions requises, et il n'y a pas beaucoup de personnes âgées, alors nous avons simplement choisi les 17 familles. Vous avez été choisis. Ne le prenez pas personnellement. Que pouvais-je faire d'autre ? « Si quelqu'un osait s'opposer à la folie du système, il était rapidement dénoncé comme koulak et contre-révolutionnaire et devait lui-même être liquidé.

Au total, quelque cinq millions de koulaks seront expulsés de chez eux en 1933. Pas moins de trente mille chefs de famille ont été fusillés. Les victimes les plus chanceuses ont été réinstallées dans leur district d'origine ou sont devenues des travailleurs vagabonds dans les grandes villes, tandis qu'environ deux millions ont été exilées dans des régions inhospitalières éloignées ou incarcérées comme esclaves d'État dans des camps de travail. De nombreux projets d'État importants et notoires - tels que la construction du canal de la mer Blanche et le développement des mines dans les régions arctiques - ont été réalisés grâce au travail de millions de prisonniers, dont de nombreux koulaks. Il s'agit de l'une des campagnes d'asservissement les plus rapides et les plus vastes de l'histoire de l'humanité. Une fois étiquetée comme koulak, une personne ne peut se débarrasser de ce stigmate. Les agences gouvernementales, les organes du parti et les documents de la police secrète enregistraient les koulaks dans un système labyrinthique de catalogues de kartoteki, d'archives et de passeports internes.

Le statut de Kulak se transmettait même à la génération suivante, avec des conséquences dévastatrices. Les enfants koulaks se voyaient refuser l'entrée dans les groupes de jeunes communistes, l'Armée rouge, les universités et les secteurs d'emploi prestigieux. Dans ses mémoires de 1997, Antonina Golovina a raconté comment sa famille a été déportée de son village ancestral en tant que koulaks et envoyée vivre dans la ville de Pestovo. Les garçons de sa nouvelle école se moquaient régulièrement d'elle. Un jour, un professeur principal a demandé à Antonina, âgée de onze ans, de se lever devant tous les autres enfants et a commencé à la maltraiter sans pitié, en criant que "ses parents étaient des ennemis du peuple, de misérables koulaks ! Vous avez certainement mérité d'être déportés, j'espère que vous serez tous exterminés !". Antonina a écrit que ce fut le moment décisif de sa vie. "J'ai eu le sentiment dans mes tripes que nous [les koulaks] étions différents des autres, que nous étions des criminels. Elle ne s'en est jamais remise.

Comme la "sorcière" Hansel Pappenheimer, âgée de dix ans, la "koulak" Antonina Golovina, âgée de onze ans, s'est retrouvée dans une catégorie intersubjective inventée par des créateurs de mythes humains et imposée par des bureaucrates omniprésents. Les montagnes d'informations recueillies par les bureaucrates soviétiques sur les koulaks ne constituaient pas la vérité objective à leur sujet, mais elles imposaient une nouvelle vérité soviétique intersubjective. Savoir que quelqu'un était un koulak était l'une des choses les plus importantes à savoir sur une personne soviétique, même si l'étiquette était totalement fausse.

Il est essentiel de comprendre que les algorithmes des médias sociaux sont fondamentalement différents des presses à imprimer et des postes de radio. En 2016-17, les algorithmes de Facebook prenaient eux-mêmes des décisions actives et fatidiques. Ils s'apparentaient davantage à des rédacteurs de journaux qu'à des presses d'imprimerie. Ce sont les algorithmes de Facebook qui ont recommandé les messages haineux de Wirathu, encore et encore, à des centaines de milliers de Birmans. À l'époque, d'autres voix s'élevaient au Myanmar pour attirer l'attention.
Après la fin du régime militaire en 2011, de nombreux mouvements politiques et sociaux ont vu le jour au Myanmar, dont beaucoup avaient des opinions modérées. Par exemple, lors d'une flambée de violence ethnique dans la ville de Meiktila, l'abbé bouddhiste Sayadaw U Vithuddha a donné refuge à plus de huit cents musulmans dans son monastère. Lorsque des émeutiers ont encerclé le monastère et exigé qu'il livre les musulmans, l'abbé a rappelé à la foule les enseignements bouddhistes sur la compassion. Lors d'une interview ultérieure, il a raconté : "Je leur ai dit que s'ils voulaient s'emparer de ces musulmans, ils devraient aussi me tuer ».

Dans la bataille en ligne pour l'attention entre des personnes comme Sayadaw U Vithuddha et des personnes comme Wirathu, les algorithmes ont été les faiseurs de roi. Les algorithmes auraient pu choisir de recommander des sermons sur la compassion ou des cours de cuisine, mais ils ont décidé de diffuser des théories conspirationnistes haineuses. Les recommandations venant d'en haut peuvent avoir une influence considérable sur les gens. Rappelons que la Bible est née comme une liste de recommandations. En recommandant aux chrétiens de lire le misogyne 1 Timothée au lieu des plus tolérants Actes de Paul et de Thécla, Athanase et d'autres pères de l'Église ont changé le cours de l'histoire. Dans le cas de la Bible, le pouvoir ultime n'appartenait pas aux auteurs qui composaient les différents traités religieux, mais aux conservateurs qui créaient des listes de recommandations. C'est le type de pouvoir exercé dans les années 2010 par les algorithmes des médias sociaux. Michael, le travailleur humanitaire, a commenté l'influence de ces algorithmes en disant que "si quelqu'un publiait quelque chose de haineux ou d'incendiaire, il était le plus promu - les gens voyaient le contenu le plus vil le plus souvent.... Personne qui prônait la paix ou le calme n'apparaissait du tout dans le fil d'actualité ».

[ IA vs. humains ]

Les intellectuels ont tendance à apprécier davantage les compétences intellectuelles que les compétences motrices et sociales. Mais en fait, il est plus facile d'automatiser le jeu d'échecs que, par exemple, la vaisselle. Jusque dans les années 1990, les échecs étaient souvent salués comme l'une des plus belles réussites de l'intelligence humaine. Dans son livre influent de 1972, What Computers Can't Do, le philosophe Hubert Dreyfus a étudié diverses tentatives d'enseigner les échecs à des ordinateurs et a constaté que, malgré tous ces efforts, les ordinateurs étaient toujours incapables de vaincre des joueurs humains, même novices. Il s'agit d'un exemple crucial pour l'argument de Dreyfus selon lequel l'intelligence des ordinateurs est intrinsèquement limitée. En revanche, personne ne pensait que laver la vaisselle était particulièrement difficile. Il s'est avéré, cependant, qu'un ordinateur peut vaincre le champion du monde d'échecs beaucoup plus facilement que de remplacer un commis de cuisine. Certes, les lave-vaisselle automatiques existent depuis des décennies, mais même nos robots les plus sophistiqués ne possèdent pas encore les compétences complexes nécessaires pour ramasser la vaisselle sale sur les tables d'un restaurant très fréquenté, placer les assiettes et les verres délicats dans le lave-vaisselle automatique et les en ressortir.

De même, si l'on en juge par leur rémunération, on peut supposer que notre société apprécie davantage les médecins que les infirmières. Cependant, il est plus difficile d'automatiser le travail des infirmières que celui des médecins qui, pour l'essentiel, recueillent des données médicales, posent un diagnostic et recommandent un traitement. Ces tâches relèvent essentiellement de la reconnaissance des formes, et repérer des formes dans les données est une chose que l'IA fait mieux que les humains. Ces deux exemples ne signifient pas que la vaisselle ou les soins infirmiers ne pourront jamais être automatisés, mais ils indiquent que les personnes qui veulent un emploi en 2050 devraient peut-être investir dans leurs compétences motrices et sociales autant que dans leur intellect.