En Pologne, depuis mars 2019, une loi permet aux consommateurs polonais de savoir pourquoi une banque a décidé de leur accorder ou refuser un prêt, même pour de petits montants, rapporte un article du blog de l’indispensable ONG Algorithm Watch. C’est-à-dire, comme le remarque très pertinemment le chercheur au laboratoire Privatics de l’Inria Daniel Le Métayer dans une interview pour le Laboratoire d’innovation numérique de la CNIL, que les banques devraient fournir à la fois une explication (comment le calcul a-t-il été fait ?) et une justification (pourquoi votre demande a-t-elle été acceptée ou refusée ?). Pourtant, rapporte Algorithm Watch, dans la pratique, les banques polonaises sont encore très réticentes à fournir l’une comme l’autre de ces informations – et elles ne sont pas les seules… Demandez une explication suite à un refus de prêt à votre banque pour voir !

Des explications... sans réponses

Selon la loi polonaise, pour toute demande de prêt, « les banques doivent fournir, par écrit, une explication de leur évaluation de la solvabilité du demandeur ». Et notamment expliquer les facteurs qui ont eu une incidence sur la décision. Ces recommandations vont plus loin que l’article 22 du Règlement général sur la protection des données (RGPD) qui n’exige une telle transparence que pour les décisions ayant un impact « juridique », comme les prêts importants, immobiliers par exemple. Pour obtenir une explication, les clients doivent néanmoins la demander à leur banque (ce n’est hélas pas automatique). Le comité polonais de surveillance financière a publié un rapport sur la façon dont les banques se conformaient à ces nouvelles règles, explique le journaliste Konrad Szczygieł pour Algorithm Watch. Il souligne notamment que chaque institution fournit des informations très variables. Bien souvent, elles s’en tiennent à des déclarations générales et fournissent peu d’éléments pour permettre aux clients de comprendre comment la décision est prise. Si toutes respectent la loi, nombre d’explications ne sont pas à la hauteur de l’esprit de la loi.

Le journaliste a demandé à plusieurs banques polonaises si elles fournissaient souvent des décisions de crédit depuis le passage de cette nouvelle loi. Seules deux banques ont communiqué leurs chiffres. L’une des plus grandes banques de Pologne a reçu 859 demandes d’explications. Une autre 1025 depuis l’entrée en vigueur de la loi en mai 2019. Ce n’est pas beaucoup, quand près de 6,8 millions de prêts aux consommateurs ont été accordés entre avril 2019 et novembre 2020. Peut-être est-ce lié au fait que ces demandes d’informations sont encore nouvelles ? Peut-être faut-il reconnaître que cela n’intéresse pas beaucoup les consommateurs ? Ou que cela tient finalement à la pauvreté des réponses fournies, comme si finalement les décisions prises par les organismes financiers s’imposaient sans que le consommateur n’y puisse rien.

Plus qu’une seule question d’intérêt d’ailleurs, ces démarches nécessitent une forte implication des usagers pour les obtenir (en temps, formulation, mobilisation…). Pas nécessairement parce que les organisations font de la rétention — et elles en font ! — mais aussi parce que ces demandes d’informations, d’explications voire d’accès aux documents nécessitent une implication particulièrement active des usagers.

L’explicabilté nécessite également de la part des organisations du travail et des procédures adaptées afin de produire non pas seulement des formulations, informations ou réponses aux usagers, mais surtout des justifications. Bien souvent, ce qui empêche l’explicabilité, n’est pas tant technique qu’organisationnel. Cela tient aussi à la manière dont est possible ou structurée l’organisation des réponses. Bien souvent, quand une banque fournit une information sans réponse, cela montre que l’explication n’a pas été organisée pour être produite. Des informations lacunaires des banques polonaises aux demandes d’accès à des informations administratives en France, la question de l’organisation de la production des réponses est souvent ce qui pose problème.

Ce découragement face à une profonde asymétrie d’information et de pouvoir n’est peut-être pas nouveau, mais ce que raconte cette histoire, c’est combien les explications sont loin d’en être, comme si finalement, l’explication laissait suffisamment de latitude à ceux qui en sont chargés pour qu’ils n’aient rien à expliquer.

Quand l’opacité est la règle

Dans un article de recherche pour Big Data & Society, les sociologues Liz McFall et Hugo Jeanningros se sont intéressés, eux, aux explications dans le domaine de l’assurance. Les techniques assurantielles restent souvent obscures aux assurés.

Si techniquement, la question de l’assurance consiste à classer et répartir le risque, les calculs spécifiques qui mesurent les risques et qui se traduisent dans les prix proposés aux assurés leurs demeurent souvent obscurs. En fait, soulignent les deux chercheurs, ce brouillard explicatif s’est plutôt épaissi qu’éclairci, notamment avec l’arrivée de nouveaux produits reposant sur le suivi en temps réel des comportements. Mais ce qu’ils constatent surtout, c’est que les données basées sur la personnalisation demeurent marginales dans le domaine de l’assurance. Ce sont encore et toujours les évaluations traditionnelles, reposant sur des calculs statistiques de masse, qui permettent de calculer le rendement des produits d’assurance, de fixer les prix et de les faire varier selon les groupes d’individus.

Par ailleurs, le lien entre le prix de l’assurance et le comportement de l’assuré n’est souvent pas clair, soulignent les chercheurs, notamment du fait des réglementations. En fait, bien d’autres données que les données personnalisées sont utilisées pour calculer et affiner les primes et les risques dans le secteur. L’autorité britannique de régulation des pratiques tarifaires des assureurs a constaté que ceux-ci utilisaient entre 50 et 400 facteurs dans leurs modèles de tarification et que parmi ceux-ci un nombre croissant n’avait pas de relation causale identifiable avec le risque en question. Les prix des primes peuvent ainsi être influencés par des données sur les achats en ligne, l’activité en ligne, la localisation géographique, les variations de l’économie nationale…

En fait, les calculs se sont obscurcis à mesure qu’ils se sont complexifiés, non pas tant sous la pression nouvelle de données toujours plus personnelles, que suivant les évolutions des méthodes de calcul liées à une disponibilité toujours plus grande de données et de capacités d’analyses. Les calculs assurantiels combinent des dizaines de facteurs qui s’apprécient les uns les autres, sans que la nécessité et la pertinence de ces enchevêtrements complexes ne soient vraiment évaluées. Finalement, ils posent autant de questions qu’en posent les systèmes d’évaluation de risque de récidive utilisés dans le système judiciaire américain5. À savoir comment sont factorisés, assemblés et traités entre eux les résultats d’un long questionnaire de 137 questions : chacune de ses questions est-elle pertinente ? Le produit de leur assemblage est-il évalué en termes de fiabilité, de justice, d’efficacité ?

Certes, les assureurs ont l’obligation légale et morale que ces données et calculs ne soient pas injustement discriminatoires. Mais, comme le pointent les autorités de contrôle, les données statistiques massives pour calculer les primes diminuent la transparence des calculs et augmentent les risques de discriminations. Or, comme le soulignent très bien les chercheurs, ces données sont déjà utilisées par les assureurs pour calculer leurs tarifications, et ce d’une manière qui demeure totalement opaque aux clients. La nouvelle promesse de produits plus personnalisés reposant sur des capteurs pour des applications de santé ou de conduite n’apporte pas vraiment d’éclaircissements sur les calculs. Ils sont tout aussi complexes que ceux de la mutualisation traditionnelle.

En France, du fait de la loi Evin, les tarifs individuels d’assurance maladie sont explicitement interdits, mais surtout, soulignent les chercheurs, les principes mêmes de l’assurance – à savoir l’interfinancement entre les assurés à haut et faible risques – limitent l’individualisation assurantielle. Dans les faits, les assureurs ne considèrent pas vraiment les données d’autosurveillance individuelle dans leurs calculs. Même s’ils s’intéressent à la modélisation individuelle du risque, il n’est pas certain pour eux que les gains d’efficacité compenseront les coûts. La modélisation du risque individuel ne permet pas d’établir de nouvelles marges. Les programmes comportementaux comme ceux dans le domaine de la santé ou de la conduite demeurent surtout des propositions de produits séduisantes pour la communication commerciale, plus qu’une transformation de fond.

Ainsi les mesures d’une assurance utilisant un système de surveillance comportementale de la conduite demeurent aussi obscures à l’assuré que les évaluations traditionnelles. Elles n’aident à comprendre ni les tarifs, ni les modalités d’application des pénalités, ni à les contester, ni les critères et modalités qui jugent de cette conduite… Est-on trop rapide ? Trop brusque ? Trop lent ? En 2016, dans une tribune

pour The Guardian, le chercheur Jathan Sadowski s’alarmait déjà de l’annonce du plus grand assureur britannique, Admiral, de vouloir utiliser les données des utilisateurs de Facebook pour calculer leur prime d’assurance automobile. Le projet n’avait aucun lien avec la conduite soit dit en passant. Le programme FirstCarQuote souhaitait utiliser les publications Facebook des jeunes conducteurs pour déterminer leur profil psychologique et notamment s’ils avaient un profil « consciencieux »… en analysant leur manière d’écrire ! Sadowski en pointait très bien le risque : pas seulement celui d’une surveillance comportementale totale, mais plus encore le fait que la personnalisation des tarifs risquait surtout de rendre les utilisateurs plus démunis pour les comprendre ou les contester.

L’exemple soulignait très bien l’aporie même du calcul qui consiste à relier un profil psychologique calculé selon les critères très contestables des tests psychométriques. Penser que des données aussi peu fiables peuvent améliorer les résultats du calcul de risque de l’assurance, dit beaucoup, en creux, de la piètre fiabilité des calculs traditionnels. Si les calculs des assurances ou des banques ne sont pas transparents, que certaines données et calculs sont très certainement contestables, c’est alors le marché et la concurrence qui sont présentés comme une solution à l’opacité et l’absence d’explication : « Il suffit d’aller voir ailleurs » (même s’il y a de grande chance qu’ils soient assez semblables et qu’ils se fondent sur des modalités de calculs proches). En cela, la concurrence n’offre pas vraiment une solution pour améliorer la transparence, même si elle peut participer à la régulation et à l’équilibrage des pratiques.

Le fait que les systèmes de calculs se répandent désormais dans des systèmes non concurrentiels, et donc sans équilibrage tiers, ne semble néanmoins pas peser lourd dans l’exigence à une plus grande transparence et explication. En effet, à l’heure où la société demande plus de transparence concernant les modalités de calcul des algorithmes, il nous faut nous souvenir combien l’explication et la compréhension demeurent les parents pauvres de la plupart des produits qui nous sont proposés. L’opacité et la complexité des calculs, de notre prime d’assurance, de nos droits au chômage ou à la retraite, de notre demande de prêt ou de notre demande de logement social… ont toujours été la règle.

Pourquoi les calculs demeurent-ils obscurs ?

La question demeure : pourquoi les calculs demeurent-ils obscurs ? Malgré l’insistance de bien des acteurs, les modalités de calcul du monde nous sont fermées. On pourrait légitimement se demander pourquoi finalement la transparence ne semble pas progresser tant que cela. Comme le remarquait fort justement le dernier rapport annuel d’Algorithm Watch, l’opacité des systèmes est volontaire. Et cette opacité a pour fonction de réduire l’examen démocratique des systèmes.

L’inexplicabilité est ancienne, et finalement, semble se maintenir et se renforcer en dépit de la répétition des obligations morales et légales à la transparence. Pour Fabio Chiusi, coordinateur du rapport, à l’heure où les systèmes automatisés se déploient à travers toute l’Europe a un rythme et une ampleur inégalée, touchant désormais presque tous les types d’activités humaines et notamment la distribution de services à des millions de citoyens européens et l’accès à leurs droits, l’opacité s’intensifie. Et cette opacité « remet profondément en question nos normes et règles sur la relation entre gouvernance démocratique et automatisation ». Or, rappelle-t-il, contrôler et garantir la compatibilité des systèmes avec les droits fondamentaux, l’État de droit et la démocratie n’est pas une option. Mais l’Union européenne elle-même donne plus de priorité à l’impératif commercial et géopolitique qu’elle ne cherche à s’assurer que les produits de l’IA sont conformes aux garanties démocratiques.

Pour l’instant, les médias et les militants se sont imposés comme la force motrice de la responsabilisation des systèmes, en contraignant les autorités à la transparence ou en contestant – victorieusement parfois – devant les tribunaux les effets de ces systèmes. Reste que ce niveau de contrôle n’est pas suffisant. « L’activisme est surtout une activité réactive ». Pour l’association, il est nécessaire de déployer des mesures proactives, avant que les pilotes et les déploiements techniques n’aient lieu. Pourtant, même dans les pays où une législation protectrice est déjà en place – comme la Loi pour une République numérique de 2016 en France, qui impose la transparence algorithmique – elle n’est souvent pas appliquée. Même en portant le cas devant les tribunaux, des exceptions peuvent être ajoutées pour protéger l’administration (comme les acteurs privés) de toute responsabilité.

L’un des exemples récents parmi les plus marquants repose sur le pas de deux quant à la transparence des critères de sélection des formations universitaires, les fameux « algorithmes locaux » de Parcoursup. En janvier 2020, le Conseil constitutionnel a légitimé en partie le fait que les protocoles des commissions d’examen des formations universitaires, chargées de classer les candidats avec l’aide de systèmes de classements automatisés, n’étaient pas communicables en raison du secret des délibérations des commissions et de l’indépendance des équipes pédagogiques. Par contre, si ces commissions n’ont pas à publier leurs critères de choix avant appréciation, le Conseil constitutionnel recommande de le faire après délibération, sous la forme d’un rapport de procédure, mais sans qu’apparaissent les pondérations appliquées aux différents critères utilisés. Un an et une procédure Parcoursup plus tard, on constatera que cette recommandation de publication n’a pas été mise en œuvre, même sous une forme partielle.

Trop souvent, les mécanismes comme les objectifs de ces systèmes sont insuffisamment justifiés ou expliqués et les avantages que les populations sont censées en retirer sont peu discutés. Trop souvent, au lieu de donner du pouvoir aux individus, ces systèmes limitent leurs options. Or, rappelle Fabio Chiusi, il est important de savoir ce qui est optimisé par ces systèmes : « Le service est-il maximisé, les coûts sont-ils minimisés ou le bien-être des citoyens est-il amélioré ? Sur quels critères reposent les décisions et qui les choisit ? » Bien souvent, l’absence de réponses à ces questions montre toute la limite de la transparence et l’absence de participation des publics à leur définition. Le solutionnisme technologique sert encore trop souvent de justification à l’adoption sans critique des technologies automatisées dans la vie publique. Trop souvent présentées comme des solutions, elles relèvent surtout de la magie. La plupart des critiques sont reléguées comme tenant du pur rejet de l’innovation, du pur luddisme, plutôt que de la nécessité démocratique d’un meilleur contrôle. Pour le dire avec Chiusi : « Trop souvent, on demande aux gens de s’adapter aux systèmes plus qu’aux systèmes de s’adapter aux sociétés démocratiques. »

Cet écueil démocratique n’explique cependant pas tout. Peut-être faut-il également mieux entendre une explication récurrente : C’est compliqué ! Liz McFall et Hugo Jeanningros rappelaient très bien que l’opacité tient aussi beaucoup de la complexité des calculs eux-mêmes. Les calculs statistiques et de risques multiplient les facteurs d’appréciation pour tenter à la fois de prendre en compte d’innombrables critères ainsi que pour répartir les risques et les charges. Avec l’automatisation, on intègre toujours plus de données et de calculs, on croise et peaufine les modèles… et au final, l’explicabilité s’éloigne toujours un peu plus. Reste à savoir si cette complexité, bien réelle, des calculs est suffisante pour légitimer une telle opacité ?

La simplicité plutôt que la justice ? Le modèle Parcoursup

Parcoursup est une plateforme déployée par le ministère de l’Éducation nationale destinée à recueillir et gérer les vœux d’affectation des futurs étudiants de l’enseignement supérieur français. Comme son prédécesseur, APB (Admission Post-Bac), Parcoursup gère depuis janvier 2018 les vœux d’affectation des étudiants français, notamment des 700 000 lycéens qui concourent à l’enseignement supérieur auprès de plus de 15 000 formations. Cette plateforme algorithmique est pour nombre de jeunes et leurs familles, une des principales confrontations à des systèmes de décisions automatisés.

Parcoursup est à la fois une plateforme d’information sur les formations disponibles et une plateforme de classement généralisée des étudiants selon les vœux qu’ils formulent, les résultats scolaires qu’ils ont obtenus et les disponibilités des formations. Pour chaque candidature choisie, les lycéens sont classés par les formations auxquelles ils aspirent – ce qu’on appelle, dans la procédure, les « algorithmes locaux », c’est-à-dire les critères de classements des candidats qu’organise chaque formation, à la fois depuis des modalités de calcul qui leur sont propres et au regard du contrôle d’une commission d’examen spécifique. Ainsi, telle formation va privilégier plutôt les notes de français, telle autre plutôt celles obtenues en mathématiques, en les pondérant d’autres critères, comme le lycée d’origine des élèves ou l’attribution d’une note aux lettres de motivation rédigées par les candidats… Chaque formation est libre de mettre en place les critères adaptés à la sélectivité qu’elle estime nécessaire : leur enjeu étant de classer tous les candidats en les différenciant distinctement les uns des autres. Une fois l’ensemble de ces classements réalisés, Parcoursup délivre des propositions aux étudiants, selon les classements qu’ils ont obtenus pour chaque formation et les places disponibles. À mesure que les étudiants acceptent les propositions, ils libèrent les autres places auxquelles ils candidataient qui sont alors proposées aux étudiants moins bien classés dans les rangs. Pour chaque formation à laquelle il aspire, chaque étudiant est donc classé (et d’une formation à l’autre selon des modalités différentes, qui dépend à la fois des autres candidats et des modalités propres que retient chaque formation pour trier les candidats). Sous ce prisme, toutes les formations disponibles, publiques comme privées, sont devenues sélectives selon des critères qui leur sont propres : les fameux algorithmes locaux.

Depuis son lancement, et comme cela avait été le cas pour APB, la plateforme cristallise des critiques nourries sur son fonctionnement, son opacité, sa logique impersonnelle et compétitive, son ergonomie. Parcoursup est une réponse industrielle à la massification de l’enseignement supérieur qui a surtout échoué à rendre acceptable la pénurie de places. Le tri social qu’il opère par le classement produit surtout, pour ceux qui en sont exclus, une expérience de déqualification à très grande échelle. Le système alimente toujours plus le ressentiment, la frustration et étend une logique méritocratique qui tourne à vide quand elle exclut de plus en plus de personnes de la possibilité de trouver leur juste place dans la société. Cette sélection de masse, industrielle, concorde avec l’évolution politique qui frappe l’éducation supérieure engagée notamment par les réformes libérales de ces dernières années.

Chaque formation doit donc apprécier les candidats et les classer… Chacune étant libre d’établir les classements selon les critères et modalités à sa disposition. Comme l’explique très clairement Olivier Ertzscheid, l’enjeu de ces critères de classement consiste à les contraindre. Pour être vertueuse, il faudrait que chaque formation publie l’intégralité de ses critères de sélection en amont de la phase de candidature, afin que chaque candidat ait l’information idoine pour lui permettre de préparer son dossier en conséquence, selon autant de dossiers à déposer. On comprendra vite la difficulté de l’exercice pour les candidats. C’est compliqué !

Si pour les candidats, Parcoursup revient à une loterie calculatoire où se déploie « à chaque étage de la vie universitaire, mais aussi scolaire, différents dispositifs qui aliènent chaque décision, chaque orientation, chaque discussion, à des dispositifs techniques de plus en plus opaques, étanches et – ce qui n’arrange rien – constamment changeants »...
La situation est différente vue depuis l’autre côté du miroir du système. En fait, la plupart des formations et des commissions d’examen ne s’embarrassent pas de calculs compliqués pour réaliser leurs sélections. L’essentiel des formations ne tient compte d’aucun élément autre qu’une moyenne sur les disciplines scientifiques. Ni les appréciations ni les motivations ne sont regardées. Pire, alors que ces moyennes pouvaient jusqu’à présent être pondérées par des informations contextuelles – comme le lycée d’origine ou, moins discriminatoire, la moyenne de la classe – la réforme du bac par les enseignements de spécialités et la fin des filières, rend cette pondération impossible. Ajoutez à cela l’augmentation en volume des candidatures qui rend les commissions d’examen plus lourdes et plus longues sans que les formations aient les titulaires disponibles et rémunérés pour établir le tri, nombre d’entre elles sont tentées d’aller au plus simple et donc pas nécessairement au plus juste. C’est-à-dire de se conformer à un calcul de tri basique, à une sélection uniquement sur la base de notes, sans même prendre le temps de regarder d’autres éléments. C’est pas compliqué !

Au final, c’est la cohérence même des classements qui devient illisible. Illisible, car d’un côté, la manière dont ils sont calculés et pondérés pose des questions évidentes sur la manière dont est mise en œuvre la lutte contre les injustices ou les inégalités des traitements automatisés. Illisible, car côté élève, votre éventuelle acceptation dépend de calculs, de positionnement dans les listes triées, dont les logiques et les mouvements sont très différents d’une formation l’autre. Au final, comme le souligne encore Olivier Ertzscheid, le système a rendu toutes les licences sélectives de fait. « S’il y a des files d’attente partout c’est parce que ce système est d’abord pensé pour créer les conditions imposant de sélectionner de manière arbitraire. » Parcoursup entérine un calcul au « mérite » partout, mais dans son acceptation la plus simple, celle « d’une logique sélective, sélectionniste et élitiste », où les principaux critères sont la note et l’origine sociale caractérisée par le lycée d’origine.

Le marché se résorbe de lui-même : les tensions que génère le manque de place sont résolues par une sélectivité accrue. Ces classements, cette orientation tournée vers le passé (puisqu’elle puise sa modalité de sélection dans les notes du passé scolaire des élèves, plutôt que depuis leurs motivations et projets, comme pouvaient le proposer une sélection sur dossier par exemple), justifient l’exclusion des surnuméraires au nom du mérite. La responsabilité n’incombe plus aux politiques publiques, mais aux candidats qui n’ont pas été assez bons ! L’algorithmisation accélère la transformation du système éducatif en marché. Elle prolonge les transformations politiques en cours. Elle intensifie la rencontre en offre et demande, pour en faire le critère principal, voire unique, de l’appariement, et donne accès plus facilement à l’offre privée. Derrière Parcoursup se généralise ainsi une forme de méritocratie aux notes et à la reproduction des élites.

Pauvreté algorithmique ou délires calculatoires ?

En n’imposant aucune explication sur les critères de sélection, en laissant planer sur les procédures une forme de neutralité technique, « Parcoursup contribue à déplacer les débats d’une question de principe (politique) à un problème de faisabilité (technique) », estime la sociologue Isabelle Bruno. Finalement, c’est toute la chaîne Parcoursup qui est contaminée par la carence d’information. Notamment, le peu d’information disponible sur les formations elles-mêmes (à savoir leur volume horaire, les cours, leurs contenus et attendus, les professeurs qui y enseignent…). Mais également, des formes de désinformation continues (comme le fait de multiplier pour le candidat la saisie d’informations inutiles, car non utilisées, à l’image des lettres de motivation, alors que celles-ci réclament des candidats des formes d’implication et de projection de soi très impliquantes… ou encore l’absence de distinctions claires entre formations privées et publiques masquant bien souvent, notamment une information essentielle, leur coût, et le fait que leurs modalités d’acceptation sont parfois moins strictes). Enfin, il faudrait également compter sur les informations cachées qui renforcent, s’il en était besoin, l’asymétrie d’information (à l’image de la Fiche Avenir rédigée par les professeurs sur leurs élèves et qu’ils ne peuvent pas consulter...).

Finalement, la pauvreté d’information semble engendrer plus de pauvreté d’information. Alors que la concurrence entre formations pourrait conduire à une émulation et de meilleures pratiques, on constate que c’est bien plus l’obligation d’informations, via des bonnes pratiques et des modèles, qui engendre de meilleures explications. Comme souvent, la concurrence ne produit pas d’effets par elle-même sans règles pour la contraindre. Comme nous le disions dans notre défense de l’explicabilité, c’est toujours plus d’explications qui permettent de meilleures explications. La démultiplication des formes d’explications nourrit de meilleures compréhensions. Au final Parcoursup produit bien trop d’asymétries d’informations pour être loyal. C’est souvent le cas. L’explicabilité semble inversement proportionnelle à l’asymétrie d’information. La réponse à l’opacité ne consiste pas tant à armer la transparence qu’à promouvoir la symétrie d’information, à favoriser une égalité d’information et de traitement.

La numérisation et le calcul nous conduisent à une contradiction insoluble, entre la simplicité et la justice des calculs. Nombre de calculs demeurent basiques et potentiellement compréhensibles si on en donne les clés. Mais, par leur simplicité même, ils se révèlent finalement trop souvent ni justes ni équitables : le classement des lycéens depuis leurs seules notes et origines en demeure le meilleur exemple.

À l’inverse, la disponibilité sans précédent de données permet d’imaginer des formes de « délires calculatoires », incompréhensibles au commun des mortels, et surtout « inscrutables », même à ceux qui les programment, comme c’est le cas de certaines techniques d’intelligence artificielle dont les résultats ne sont pas explicables, ou des techniques statistiques de calcul du risque dans la banque ou l’assurance que nous évoquions précédemment. La pondération d’innombrables critères conduit souvent à penser que la démultiplication des calculs permet d’assurer une justesse et une justice plus grandes. Rien n’est moins vrai pourtant. Alors que l’utilisation de chaque variable devrait pouvoir être appréciée sur son utilité et son équité, le délire calculatoire finit par multiplier les vides de calculs, en tissant des liens entre des éléments qui n’en ont pas, créant des formes d’apophénie (le phénomène qui consiste à percevoir des relations qui n’en sont pas. À vouloir démultiplier les éléments pris en compte, le calcul finit par tourner sur lui-même, sans toujours évaluer ou prouver son efficacité. Derrière l’inexplicabilité que produisent les délires calculatoires, le risque est bien celui d’une carence de la preuve que les calculs produisent bien ce qu’ils sont censés calculer. À mesure que nous montons dans l’échelle de la complexité, les mesures l’emportent au détriment même de leur pertinence. Comme le dit le chercheur et designer italien, Stefano Diana, « l’abstraction est devenue le principal trouble de la connaissance de notre époque ». Le risque est que nous entrions dans une forme de pathologie du calcul qui transforme tout en chose, réduit notre empathie aux réalités concrètes que recouvrent les données – les gens – et produit par essence de l’inhumanité – puisque les réalités individuelles ne sont appréciées qu’en chiffres et masses.

En fait, l’IA, les algorithmes, la statistique… masquent sous leur complexité et leur prétendue efficacité leurs lacunes et leurs défaillances sociales. La menace d’un délire calculatoire et immanent cache souvent l’indigence bien réelle des calculs, et la réduction du réel par les chiffres.

La complexité des calculs pourrait pourtant porter des objectifs vertueux. Dans une tribune pour La Vie des idées, le sociologue Vincent Tiberj évoquait la possibilité d’utiliser Parcoursup pour aplanir les inégalités sociales plutôt que les reproduire. Il y expose justement des modalités de pondération et de calculs pour dépasser le seul mérite des meilleures notes. Mais ce que l’article a de frappant, c’est qu’il montre combien avec l’objectif légitime de l’amélioration de la justice des calculs, leur complexité s’envole et redouble. Le risque est que derrière les lissages et améliorations des calculs, que ce soit par la prise en compte des écarts à la moyenne ou de seuils, certains se révèlent bien moins vertueux que d’autres, mais que cela se fasse entre spécialistes, c’est-à-dire d’autorité, avec des débats d’expertises sur les modalités proposées par les uns et les autres.

Au final, le risque ici est que cette poursuite d’une justice calculatoire n’en produise aucune et que toute politique ne soit plus que calculatoire. Ce qui mène à un autre risque : des modalités de calcul qui changent en permanence, à la volée, selon des temporalités de plus en plus courtes, au prétexte de s’adapter plus vite… Le calcul de droits sociaux selon des temporalités de plus en plus ajustées fait, par exemple, porter le risque de droits toujours plus révocables, comme s’en inquiète très légitimement le philosophe Achille Mbembe dans Brutalisme.

Dénumériser !

Cette production d’une complexité inédite permet de mieux entendre la montée d’une demande à abattre les calculs ou à les contenir à mesure qu’ils s’infiltrent dans tous les domaines de l’existence. Dans une tribune pour Libération, la physicienne Pérola Milman souhaitait qu’on remplace Affelnet – l’équivalent de Parcoursup pour le passage du collège au lycée – par un simple tirage au sort. Comme si désinvestir la complexité était le meilleur moyen de renouer avec l’équité, la justice et l’explicabilité. « Les règles actuelles, parce qu’elles manquent de transparence et sont difficiles à interpréter par les intéressés, rendent toute forme de débat et de contestation quasiment impossible », constate la spécialiste de la physique quantique. Comme « aucun critère ne sera jamais universellement juste », l’aléatoire du tirage au sort paraît alors le meilleur moyen de sortir de l’ornière de l’inexplicabilité ! Face à trop de calculs, partout, incompréhensibles et possiblement injustes ; face à la fatalité de l’inexplicabilité et de la complexité… Le rejet des calculs risque de devenir la meilleure réponse à leurs lacunes et échecs.

Peut-être faut-il pourtant entendre autrement ce qu’exprime ce rejet, d’autant que l’arbitraire du tirage au sort ne produit pas plus de justice que l’arbitraire algorithmique. Comme on l’a vu avec Parcoursup, alors que des formes de pluralité de sélections existaient, le système les a plus que jamais réduites. Ce sont toutes les formes de sélections qui appliquent désormais les mêmes principes sélectifs. On pourrait dès lors se demander si le problème ne tient pas plus d’une réduction d’une pluralité des modes sélectifs qu’autre chose. Le problème des systèmes quand leur usage s’intensifie, se massifie, quand ils deviennent industrie, c’est qu’ils réduisent les formes par lesquelles s’échapper, les contourner. Parcoursup a d’autant plus asséché la pluralité des formes sélectives (dossiers, concours, projets…), que, contrairement à son prédécesseur, il est devenu le passage obligé de presque toutes les formations supérieures, mêmes privées. Il n’y a plus d’échappatoire au mérite qu’impose le système à toute la filière post-bac. La sélection industrialisée impose une modalité de sélection unique partout (avec des variations très limitées sur le mode de sélection, même en ajustant au mieux les modalités de tri). Il n’y a plus de possibilités d’ajustements, de contournement… Et finalement, plus aucune possibilité d’écoute des individualités : ceux qui ont connus des épreuves individuelles, des pannes, par exemple d’ordre personnel ou familial durant leur scolarité, n’ont aucun moyen de faire entendre leurs singularités. L’unicité du mode de sélection qu’impose la réponse industrialisée de Parcoursup est certainement l’angle mort de la recherche d’une justice des calculs. C’est certainement son caractère totalitaire – puisqu’il régit toute sélection – en refermant tout espace de discussion qui pose problème. Même auprès de sa banque ou de son assurance, il est encore possible d’aller discuter ou de tenter d’être « écouté » – enfin, peut-être de moins en moins, cela mériterait d’y porter le regard. Ce n’est pas le cas avec Parcoursup.

C’est peut-être à cette aune qu’il faut entendre le techlash et avec lui l’appel à retrouver des formes non numériques, plus « simples » et plus humaines. Derrière l’idée d’une nécessaire dénumérisation, il y a l’idée que l’industrialisation numérique va trop loin, envahit trop d’espaces d’existence. Au-delà, l’enjeu semble de retrouver des espaces de discussion avec les systèmes et de contester l’angle unique de leur emprise, de leurs calculs. On aura beau mettre dans nos systèmes techniques toute la transparence nécessaire et une meilleure éthique des calculs, la rationalité qu’ils produisent et imposent partout demeurera problématique, car à mesure que la rationalité s’étend, elle ne laisse aucun espace à ce qui n’en relève pas et qui fonde notre humanité : à la chance, à l’aléa, à la deuxième chance, à l’empathie, au repêchage, à l’aménagement…

L’explicabilité est un idéal qui ne peut pas être restreint

Comme la justice, la liberté ou l’égalité, la transparence et l’explicabilité sont avant tout des idéaux. Ils tiennent des nouveaux dogmes de nos vies calculés. Comme tous les concepts normatifs, ils nécessitent un travail constant. « Rien n’est jamais définitivement acquis », disait Simone de Beauvoir en parlant du droit des femmes. Il en est de même de tous les autres droits et idéaux auxquels nous aspirons.

En France, ces dernières années par exemple, la promotion de l’ouverture des données publiques et la publication des codes sources des systèmes techniques utilisés par certaines administrations publiques ont été promues au plus haut niveau de l’État et des territoires, notamment sous l’impulsion du Secrétariat général pour la modernisation de l’action publique (Sgmap). Initiées par le travail d’associations et de militants pour les droits numériques, la transparence et l’ouverture des données ont été peu à peu traduites et incorporées au droit et aux formes de régulation. La simplification et la transparence ont été souvent les leviers de cette mobilisation pour la transformation et la modernisation de l’État et de ses administrations. Mais cette transparence a été bien fragile, comme l’explique Marie Alauzen en revenant sur le cas d’une des premières startups d’État, Mes-Aides. Ce simulateur de droits sociaux, visant à évaluer les droits de tout citoyen sur toutes les aides disponibles, a tenu d’un modèle, d’un démonstrateur, particulièrement exemplaire en termes d’explicabilité traduite à un niveau opérationnel ainsi que de transparence, puisque son code était ouvert et mis à jour en continu. Alauzen souligne très bien combien la disponibilité d’un calculateur, certes imparfait, mais accueillant pour les usagers et destiné à leur permettre de faire valoir leurs droits, a finalement été source de tensions inédites auprès du personnel administratif, conduisant à l’arrêt du service. Rendre les aides calculables et donc en partie plus explicables a finalement été vécu comme une évolution subversive… « Cette mise en algorithme de l’information sociale procédant de l’explicitation maximale s’est heurtée aux formes ordinaires d’opacité de l’activité administrative », conclut la chercheuse.

Alors que les autorités ont surtout mis l’accent sur « l’ouverture » (du code, des données via une politique soutenue à la promotion de l’ouverture des données publiques notamment…), elles sont restées complètement silencieuses sur d’autres aspects de l’industrialisation numérique des services publics, notamment le déploiement du traitement automatisé dans plusieurs administrations, aux impôts, à Pôle Emploi, aux caisses d’allocations familiales. C’est finalement un peu comme si le beau récit de la transparence et de l’explicabilité était là pour mieux invisibiliser les modalités très concrètes de renforcement du contrôle et de l’opacité, déployant un storytelling de la transparence pour mieux en limiter le périmètre. Pourtant, ni la transparence ni l’explicabilité ne supportent d’être des critères à géométrie variable. Elles tiennent toutes deux d’un idéal qui doit réaliser ses effets partout. Les restrictions et les dissimulations à l’ouverture sont des failles dans lesquelles s’engouffre une défiance qui progresse toujours plus vite que la confiance. Le moindre obstacle aux explications semble partout réduire à néant leur potentialité. Il n’y a pas de demi-mesure dans l’explication et la transparence. Ils tiennent d’un effort continu, qui s’il est mis en doute, ruine toute perspective.

L’inexplicabilité semble aujourd’hui une fatalité. Elle ne le restera pas, si partout nous construisons des réponses et si nous les exigeons. Mais peut-être, comme nous y invitent très concrètement Lauren Klein et Catherine D’Ignazio en promouvant un féminisme de la donnée, faut-il renverser nos catégories de pensées pour y parvenir, dépasser, renforcer et politiser plus avant nos exigences. Peut-être est-il plus que jamais nécessaire, comme elles nous y invitent, de modifier notre cadre de réflexion, de changer les concepts avec lesquels nous légitimerions les évolutions des calculs… Les limites de l’ouverture et de la transparence dans les systèmes techniques sont dénoncées depuis longtemps. Peut-être pour les dépasser faut-il remiser et réinventer ces concepts ? En nous invitant à passer de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… Klein et D’Ignazio nous invitent à sortir de la recherche de solutions technologiques aux problèmes que pose la technologie. La progression de l’opacité et de l’inexplicabilité doit nous inviter à trouver d’autres manières de transformer le monde.