Les biais algorithmiques en justice
L'essor de l'intelligence artificielle et des algorithmes dans les institutions publiques, y compris la justice, soulève une question cruciale, peut on déléguer des décisions juridiques à des systèmes potentiellement biaisés ? De la prévision de récidive à l'aide à la décision judiciaire, les algorithmes s'invitent progressivement dans les tribunaux, en France comme à l'étranger.
Mais ces outils ne sont pas neutres. Pire, ils reproduisent, et parfois amplifient, les discriminations humaines dont ils héritent. Comprendre l'origine de ces biais algorithmiques, mesurer leur présence effective dans les juridictions, et connaître le cadre juridique qui les encadre, est devenu un préalable indispensable pour quiconque s'intéresse à l'avenir de la justice.
Comprendre le biais algorithmique et son origine dans les données
Un biais algorithmique est une distorsion systématique dans le traitement des données ou la prise de décision par un algorithme, généralement causée par des données biaisées, des historiques de décisions humaines discriminatoires, des modèles mal calibrés, ou des objectifs mal définis. Si un algorithme est entraîné sur des décisions de justice passées où certaines populations ont reçu des peines plus lourdes à faits comparables, il apprendra mécaniquement à reproduire cette logique.
Les biais ne viennent donc pas de l'intelligence artificielle elle même, mais des données d'entraînement et des objectifs qu'on lui fixe. La doctrine distingue plusieurs catégories, le biais historique, hérité de pratiques discriminatoires passées, le biais de sélection, lié à un échantillon de données non représentatif, et le biais de confirmation, qui renforce des corrélations statistiques sans établir de lien de causalité réel. Ces trois mécanismes se combinent souvent, rendant leur détection d'autant plus complexe pour les autorités de contrôle.
Des algorithmes déjà présents dans les tribunaux
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) est un logiciel d'évaluation du risque de récidive utilisé par plusieurs juridictions américaines. Une enquête de ProPublica, publiée en 2016, a révélé que ce système produisait deux fois plus de faux positifs chez les personnes afro américaines que chez les personnes blanches. Concrètement, les premières étaient jugées à tort à haut risque de récidive bien plus souvent que les secondes, à profil de récidive réel pourtant comparable.
En France, l'entreprise Predictice propose des outils de jurisprudence augmentée, permettant d'analyser statistiquement les chances de succès d'un litige à partir de décisions antérieures. Même présenté comme un simple assistant à la décision, ce type d'outil pourrait, à terme, orienter les juges vers des solutions statistiquement probables, au détriment de la singularité de chaque affaire, principe pourtant central de l'office du juge français. Ce risque de standardisation du jugement fait écho à la fragilité du système probatoire décrite dans notre article sur le procès Jubillar comme signal d'alerte.
Ces deux exemples, bien que de nature différente, l'un directement décisionnel, l'autre présenté comme un outil d'aide, illustrent une même tension structurelle entre l'efficacité promise par l'automatisation et l'exigence d'individualisation qui fonde la justice.
| Outil | Pays | Fonction | Critique principale |
|---|---|---|---|
| COMPAS | États Unis | Évaluation du risque de récidive | Taux de faux positifs deux fois plus élevé chez les personnes afro américaines, selon ProPublica 2016 |
| Predictice | France | Analyse statistique des chances de succès d'un litige | Risque d'orientation vers des solutions statistiquement probables, au détriment du cas d'espèce |
Risques éthiques et cadre juridique applicable en France et en Europe
L'introduction d'algorithmes dans le champ judiciaire expose plusieurs droits fondamentaux, dont l'égalité devant la justice, la déshumanisation du jugement, lorsque des prédictions automatiques ne prennent plus en compte les particularités individuelles, et une transparence limitée, les algorithmes fonctionnant souvent comme de véritables boîtes noires, même pour leurs concepteurs. La CNIL et le Conseil d'État ont alerté dès 2018 sur les dangers d'une automatisation excessive des décisions juridictionnelles.
Dans son étude annuelle de 2018 consacrée à l'intelligence artificielle et à l'action publique, le Conseil d'État a posé un principe qui demeure aujourd'hui encore la référence en la matière, « L'intelligence artificielle ne peut être un juge ». Cette formule, courte mais structurante, résume l'équilibre que le droit français tente de maintenir entre innovation technologique et garanties du procès équitable.
En droit français, le Code de justice administrative interdit toute décision juridictionnelle entièrement automatisée. L'article 33 de la loi n°2019-222 du 23 mars 2019 de programmation 2018-2022 et de réforme pour la justice interdit par ailleurs la réutilisation des données d'identité des magistrats et des membres du greffe aux fins d'évaluer, analyser, comparer ou prédire leurs pratiques professionnelles, une réponse directe à l'essor de legaltechs comme Doctrine ou Lexbase, sous peine de sanctions pénales. À l'échelle européenne, le règlement sur l'intelligence artificielle, l'AI Act, classe les outils d'aide à la décision judiciaire parmi les systèmes à haut risque, imposant des exigences strictes de transparence, de supervision humaine et de non discrimination.
L'introduction des algorithmes dans le champ judiciaire pose donc une tension majeure entre efficacité technologique et exigence de justice équitable. Plutôt qu'une délégation, c'est une cohabitation critique qui s'impose progressivement, l'humain devant garder la main sur la décision finale, tout en s'appuyant prudemment sur l'outil algorithmique pour les tâches d'analyse et de recherche documentaire. Cette même exigence de supervision humaine irrigue le cadre plus récent applicable au travail de plateforme, comme le montre notre article sur le lien de subordination à l'ère du numérique.
Le présent article revêt une portée strictement informationnelle. CTRLZed n'est pas un cabinet d'avocats et ne dispense aucun conseil juridique personnalisé. Pour toute situation spécifique, consultez un professionnel du droit.
Sources officielles
Conseil d'État, étude annuelle 2018, intelligence artificielle et action publique : https://www.conseil-etat.fr/publications-colloques/etudes/etudes-a-la-demande-du-gouvernement/intelligence-artificielle-et-action-publique-construire-la-confiance-servir-la-performance
EUR-Lex, règlement (UE) 2024/1689 sur l'intelligence artificielle : https://eur-lex.europa.eu/eli/reg/2024/1689/oj?locale=fr
Légifrance, article 33 de la loi n°2019-222 du 23 mars 2019 de programmation 2018-2022 et de réforme pour la justice : https://www.legifrance.gouv.fr/jorf/article_jo/JORFARTI000038261761
FAQ, biais algorithmiques et justice
Qu'est-ce qu'un biais algorithmique en matière judiciaire ?
C'est une distorsion systématique dans les résultats produits par un algorithme, causée par des données d'entraînement reflétant des discriminations passées, un échantillon non représentatif, ou des objectifs mal définis.
Le logiciel COMPAS est-il utilisé en France ?
Non. COMPAS est utilisé par certaines juridictions américaines pour évaluer le risque de récidive. En France, des outils comme Predictice proposent une analyse statistique des chances de succès d'un litige, sans valeur décisionnelle.
Une décision de justice entièrement automatisée est-elle légale en France ?
Non. Le Code de justice administrative interdit toute décision juridictionnelle entièrement automatisée, la décision finale devant toujours être prise par un juge humain.
Que dit l'AI Act sur les outils judiciaires ?
Le règlement européen sur l'intelligence artificielle classe les outils d'aide à la décision judiciaire parmi les systèmes à haut risque, imposant transparence, supervision humaine et non discrimination.
Peut-on identifier un juge par son nom dans une base de jurisprudence ?
L'article 33 de la loi du 23 mars 2019 interdit la réutilisation des données d'identité des magistrats pour évaluer, analyser, comparer ou prédire leurs pratiques professionnelles, sous peine de sanctions pénales.
Les outils de justice prédictive vont-ils remplacer les juges ?
Non, en l'état du droit. Le Conseil d'État a posé dès 2018 le principe selon lequel l'intelligence artificielle ne peut être un juge, l'humain conservant la maîtrise de la décision finale.
Faire entendre votre expertise au bon endroit
Création de contenu éditorial qui porte votre voix.
