La question de la prédiction des risques de récidive pénale par algorithme occupe désormais les débats publics et juridiques. Les usages actuels croisent des bases de données judiciaires, des scores statistiques, et des questionnaires standardisés.
Cette analyse confronte la technique à des principes fondamentaux, notamment la présomption d’innocence et l’éthique de la prévention. Ce constat conduit directement à la rubrique A retenir :
A retenir :
- Évitement du profilage individuel systématique
- Protection renforcée des données sensibles
- Autorisation limitée aux systèmes à haut risque
- Priorité aux faits objectifs vérifiables
Encadrement juridique de la prédiction par algorithme
Après ces principes, le droit européen a tracé une ligne claire entre usages autorisés et prohibés. L’AI Act, entré en vigueur en février 2025, vise notamment les outils de justice prédictive fondés sur le profilage.
Selon Palmiotto, l’article 5(1)(d) interdit les systèmes évaluant un risque pénal à partir de traits personnels seuls, sans faits objectifs. Cette interdiction protège la présomption d’innocence face aux modèles probabilistes.
Pays
Outil
Usage
Statut légal
Espagne (Catalogne)
RisCanvi
Évaluation en détention
Expérimental et surveillé
États-Unis
COMPAS
Décision de probation
Controversé et critiqué
Royaume-Uni
Multiples outils locaux
Police prédictive
Usage encadré
Union européenne
AI Act
Réglementation
Interdictions ciblées
Ce cadre distingue les systèmes purement géographiques des outils ciblant des individus, afin d’éviter le profilage de groupe. Selon ProPublica, l’usage sans garde-fous a produit des biais significatifs dans le passé.
Applications opérationnelles et limites des modèles prédictifs
Enchaînement naturel après le cadre légal, l’examen des applications montre des usages variés en police et en détention. Les systèmes d’analyse de risque produisent des scores qui influencent la libération conditionnelle et la probation.
Selon l’AI Act, l’interdiction vise les prédictions établies uniquement sur des caractéristiques personnelles, et non sur des faits vérifiables. Les opérateurs doivent démontrer la présence d’éléments objectifs pour conserver la conformité réglementaire.
Critères personnels visés :
- Nationalité et lieu de naissance
- Résidence et situation familiale
- Niveau d’endettement et propriété de véhicule
Ces critères, isolés ou combinés, forment le cœur du profilage que l’AI Act cherche à limiter. Une attention particulière s’impose pour les analyses de réseaux sociaux et les inférences de groupe.
« J’ai ressenti une injustice quand un score a guidé ma probation sans examen des faits »
Marie L.
Les praticiens confrontent souvent la nécessité opérationnelle aux exigences légales et éthiques, et cherchent des solutions hybrides. L’enjeu est d’équilibrer prévention et protection des droits fondamentaux.
Mesures techniques pour limiter les biais
Ce point s’inscrit dans la gestion quotidienne des modèles et implique des audits réguliers des données. Les méthodes de rééquilibrage et d’explicabilité restent des outils opérationnels essentiels.
Mesures de conformité :
- Audits indépendants périodiques
- Tests d’équité sur sous-groupes
- Documentation complète des modèles
La documentation doit préciser les jeux de données, la méthodologie et les limites connues du modèle prédictif. Ces éléments soutiennent la responsabilité technique et juridique.
Cas d’usage et retours d’expérience
Cette sous-partie lie les mesures techniques aux conséquences sur le terrain et aux récits de personnes concernées. Des retours d’expérience font apparaître des améliorations et des effets pervers.
« Comme agent, j’ai appris à vérifier les données avant d’appliquer un score algorithmique »
Ahmed B.
L’expérience opérationnelle suggère que l’humain reste indispensable pour interpréter les résultats d’un modèle prédictif. Cette observation prépare l’examen des responsabilités institutionnelles.
Responsabilités, gouvernance et perspectives éthiques
Enchaînement logique depuis l’opérationnel vers la gouvernance, les institutions doivent définir des responsabilités claires. La justice prédictive soulève des questions de redevabilité et de supervision démocratique.
Selon Palmiotto, l’interprétation du terme « solely » impose une lecture structurelle, limitant les systèmes conçus pour prédire sans faits objectifs. Cette lecture affecte la conception des outils et des procédures d’autorisation.
Risques opérationnels identifiés :
- Renforcement des préjugés statistiques
- Détournement à des fins discriminatoires
- Perte de contrôle humain sur décisions clés
Les autorités judiciaires doivent établir des garde-fous procéduraux, incluant révision humaine et recours effectif pour les personnes évaluées. L’éthique exige transparence, proportionnalité et possibilité de contestation.
« Il faut un cadre clair pour éviter que des algorithmes ne décident seuls des libertés »
Claire D.
Bonnes pratiques recommandées :
- Révision humaine systématique des décisions sensibles
- Publication des critères et des limites méthodologiques
- Mécanismes de recours et de réparation accessibles
Un dernier point concerne la coopération internationale et les échanges de bonnes pratiques entre juridictions. Ce passage ouvre sur des études comparatives et les enseignements pour les évolutions futures des régulations.
« Les régulateurs doivent veiller à ne pas sacrifier les droits fondamentaux au profit d’efficacités contestables »
Sébastien R.
Source : Francesca Palmiotto, « Commentary on Article 5(1)(d) AI Act: The Prohibition of Criminal Risk Assessment », preprint, 21 janvier 2026 ; Julia Angwin, « Machine Bias », ProPublica, 2016.
