Évaluation des risques : des biais aux patterns, une approche renouvelée

Cet article prolonge Le Guide du manager systémique. Il ne propose pas une méthode pour élaborer une matrice des risques — une littérature abondante existe sur le sujet. Il attire l’attention sur les fragilités de l’analyse, et ouvre une piste pour les dépasser.

L’évaluation des risques en une phrase

L’évaluation des risques consiste à apprécier le niveau d’exposition d’une organisation à un risque donné. Elle croise trois critères : l’impact, la fréquence et le degré de maîtrise. Le résultat détermine si le risque doit être accepté, mitigé, transféré ou évité.

Mais cette évaluation repose sur des jugements humains. Elle est donc exposée à des biais, à des subjectivités, et à des erreurs d’interprétation. La reconnaître comme une science exacte serait une erreur. C’est un exercice de jugement structuré — et comme tout jugement, il peut être faussé.

Comprendre ces fragilités est la condition d’une évaluation plus lucide, et d’une décision mieux informée.

L’héritage statistique : une transposition difficile

La fréquence et l’impact ne sont pas des critères neutres. Ils sont l’héritage d’une tradition statistique — celle de Deming, de Shewhart, du contrôle statistique des procédés — conçue pour des environnements répétables et standardisables. Leur transposition à des environnements complexes est un emprunt, pas une évidence.

Ce que la tradition statistique suppose

Le contrôle statistique des procédés repose sur trois conditions :

La répétabilité. Le même processus, dans les mêmes conditions, produit les mêmes effets. C’est ce qui permet de mesurer une fréquence : on observe le passé, on en déduit le futur.

La stabilité. Les causes de variation sont identifiables et documentées. On distingue les causes communes (le système) et les causes spéciales (l’événement). Cette distinction est au cœur de la pensée de Deming.

La standardisation. Les processus sont définis, documentés, reproductibles. Les écarts sont mesurables. Les seuils sont établis.

Ces trois conditions sont réunies dans une chaîne de production. Elles permettent de calculer une fréquence de défaillance, un taux de rebut, un MTBF. Elles permettent de piloter par les chiffres.

Ce que les environnements complexes ne permettent pas

Un environnement complexe — un service, une organisation, une stratégie, un écosystème — ne réunit pas ces conditions.

Il n’est pas répétable. La situation n’est jamais la même deux fois. Les variables changent. Les acteurs changent. Le contexte change. Une fréquence mesurée dans le passé ne prédit rien pour le futur, parce que les conditions qui l’ont produite ne se reproduiront pas à l’identique.

Il n’est pas stable. Les causes de variation ne sont pas identifiables de manière exhaustive. Les interactions entre risques sont nombreuses, changeantes, imprévisibles. La distinction entre causes communes et causes spéciales — si utile en production — devient floue.

Il n’est pas standardisable. On ne peut pas écrire une procédure qui couvre tous les cas. Les situations réelles sont plus riches que ce que les procédures décrivent. Les opérateurs doivent adapter, interpréter, ajuster.

La transposition problématique

Le risk management a emprunté la fréquence et l’impact à la tradition statistique. Mais il les a empruntés sans l’épistémologie qui les rend valides.

Dans une chaîne de production, dire « ce risque se produit trois fois par an » a un sens : le processus est répétable, la mesure est possible, la prévision est fondée.

Dans un environnement complexe, dire « ce risque se produit trois fois par an » est une fiction. Le processus n’est pas répétable, la mesure n’est pas possible, la prévision n’est pas fondée. On plaque un outil statistique sur un objet qui n’est pas statistique.

Ce n’est pas une critique de Deming. Deming lui-même insistait sur la nécessité de comprendre le système avant de le mesurer. Il distinguait les causes communes — qui relèvent du système — des causes spéciales — qui relèvent de l’événement. Il savait que les outils statistiques ne s’appliquent qu’à des processus stables.

C’est une critique de la transposition. Ce qui fonctionne dans un atelier ne fonctionne pas nécessairement dans un comité de direction. Ce qui mesure un taux de rebut ne mesure pas un risque stratégique. Ce qui prédit une défaillance mécanique ne prédit pas une défaillance organisationnelle.

La fréquence : une notion antinomique

Savoir qu’un risque se réalisera à telle fréquence est antinomique. Un risque est, par définition, un événement incertain. Dire qu’il se produira trois fois par an, c’est déjà le transformer en planification. C’est considérer l’incident comme certain, et organiser sa survenue.

Pourtant, la fréquence est le critère le plus souvent utilisé dans les matrices de risques. On estime une probabilité, on la cote sur une échelle, et on la traite comme une donnée objective.

Cette approche a une conséquence perverse : si l’on ne peut pas estimer la fréquence, le risque devient une planification de l’incident. On sait qu’il arrivera, on ne sait pas quand, et on ne fait rien en attendant — ou on agit trop tard.

La solution consiste à travailler par ranges plutôt que par valeurs uniques. Une fréquence estimée entre 1 et 5 fois par an est plus honnête qu’une fréquence fixée à 3. Le range reconnaît l’incertitude au lieu de la masquer. Mais cette pratique est rare. La plupart des organisations préfèrent une valeur unique, plus facile à saisir dans un tableur, plus rassurante aussi.

Le seuil d’acceptabilité : une question de contexte

Tous les risques ne se traitent pas de la même manière. Il existe un seuil d’acceptabilité qui dépend de la nature du risque et du contexte de l’organisation.

Un impact maîtrisé sur une chaîne de production peut être acceptable. Un arrêt de ligne, une pièce défectueuse, un retard de livraison : ces événements sont fréquents, leurs conséquences sont connues, et les dispositifs de contrôle permettent de les contenir. Le risque est intégré au fonctionnement normal.

En matière de confidentialité et de protection des données personnelles, financières ou stratégiques, le seuil est différent. Une fuite de données, une compromission de secrets industriels, une atteinte à la vie privée : ces événements sont inacceptables, quelle que soit leur fréquence estimée. Ils doivent rester des accidents majeurs, pas des incidents tolérables.

Cette distinction est essentielle. Elle signifie que l’évaluation ne peut pas être uniforme. Un risque faible en fréquence mais catastrophique en impact ne se traite pas comme un risque fréquent mais bénin. La matrice de criticité, en croisant impact et fréquence, tend à lisser cette distinction. Elle met sur la même diagonale des risques qui n’ont rien à voir.

Le degré de maîtrise : documenté, estimé, difficile à chiffrer

Le degré de maîtrise mesure l’efficacité des dispositifs de contrôle existants. Il permet de calculer le risque résiduel :

Risque résiduel = Fréquence × Impact × Élément de maîtrise

Ce critère est plus solide que la fréquence, parce qu’il repose sur des éléments observables.

La maîtrise est assurée par les contrôles. Dans une approche ISO 9001, il s’agit des contrôles qualité intégrés aux processus. Dans une approche COSO, il s’agit des barrières de défense : les dispositifs qui empêchent un risque de se matérialiser, ou qui limitent ses conséquences s’il se matérialise.

Le niveau de maîtrise peut être documenté. Il repose sur des preuves : procédures écrites, enregistrements de contrôle, résultats d’audit, indicateurs de conformité. Il est donc plus objectivable que la fréquence.

Mais il est beaucoup plus difficile à chiffrer. Un contrôle existe, il est documenté, il est appliqué — mais quelle est son efficacité réelle ? Un contrôle à 80 % d’efficacité protège-t-il deux fois moins qu’un contrôle à 90 % ? La réponse n’est pas linéaire. L’efficacité d’un contrôle dépend de sa conception, de sa mise en œuvre, de la formation des opérateurs, et de la culture de l’organisation.

L’AMF identifie l’audit comme à même d’estimer le niveau de maîtrise sur une analyse chiffrée et documentaire. L’auditeur examine les preuves, teste les contrôles, évalue leur efficacité. C’est une évaluation plus robuste qu’une simple déclaration. Mais elle reste une estimation, pas une mesure.

Les biais de l’évaluation

L’évaluation des risques est exposée à des biais documentés par la recherche en psychologie cognitive et en sciences du risque.

L’excès d’optimisme et la surconfiance

Les études montrent que le processus d’évaluation est enclin à l’excès d’optimisme et à la surconfiance : les évaluateurs ont tendance à sous-estimer les risques et à surestimer leur capacité de contrôle. Le registre des risques peut sembler bien structuré tout en reflétant ces biais dans la sélection, la mesure et la priorisation des risques.

Le biais de disponibilité

Les événements qui viennent facilement à l’esprit sont perçus comme plus probables que ceux qui sont difficiles à se remémorer. Un risque dont on a récemment entendu parler — dans les médias, dans une autre organisation, dans un audit récent — sera surestimé. Un risque rare, sans précédent connu, sera sous-estimé.

Le biais d’ancrage

Les évaluateurs s’appuient excessivement sur la première information qu’ils reçoivent. Si un manager donne un premier score, les autres évaluateurs s’alignent souvent sur cette valeur, même si elle est arbitraire. Le résultat est un faux consensus : tout le monde est d’accord, mais l’accord repose sur un ancrage, pas sur une analyse.

Le biais de confirmation

Les informations qui confirment la croyance initiale sont jugées plus fiables que celles qui la contredisent. Si l’organisation considère qu’un risque est faible, elle aura tendance à ignorer les signaux qui suggèrent le contraire.

L’asymétrie des évaluations

Une étude portant sur sept projets a montré que les scores de risque variaient considérablement entre les individus, au sein d’une même organisation et entre organisations. Un évaluateur pouvait attribuer une note allant de « faible » à « extrême » tout en restant dans deux écarts-types de la moyenne. Cela signifie que le processus d’évaluation des risques ne peut pas être considéré comme objectif.

Les projets nouveaux ou non familiers reçoivent des scores de risque plus élevés que les projets habituels. Ce n’est pas parce qu’ils sont objectivement plus risqués, mais parce qu’ils sont moins connus, donc plus anxiogènes.

Les limites des matrices de criticité

La matrice de criticité est l’outil le plus courant pour représenter l’évaluation des risques. C’est aussi l’un des plus critiqués.

Une résolution faible. Les matrices typiques ne peuvent comparer correctement qu’une fraction inférieure à 10 % des paires de risques sélectionnées au hasard. Elles attribuent des notes identiques à des risques quantitativement très différents — c’est le phénomène de « compression de gamme ».

Des erreurs de classement. Les matrices peuvent attribuer des notes qualitatives plus élevées à des risques quantitativement plus faibles. Pour les risques dont la fréquence et la gravité sont négativement corrélées, elles peuvent être « pires qu’inutiles », conduisant à des décisions moins bonnes qu’un choix aléatoire.

Une allocation suboptimale des ressources. L’allocation efficace des ressources ne peut pas être basée sur les catégories fournies par les matrices de risques.

Des entrées et des sorties ambiguës. Les catégorisations de gravité ne peuvent pas être faites objectivement pour des conséquences incertaines. Les entrées et les sorties de la matrice nécessitent une interprétation subjective, et différents utilisateurs peuvent obtenir des notes opposées pour les mêmes risques quantitatifs.

La subjectivité dans l’usage des catégories. L’utilisation de catégories colorées discrètes (rouge, orange, vert) introduit des biais et de la subjectivité dans la notation des risques.

La limite des approches actuelles

Les matrices de criticité, les échelles de probabilité, les scores composites : tous ces outils ont une limite commune. Ils traitent les risques en isolation.

Or, un risque ne se matérialise jamais seul. Sa survenue peut déclencher des effets en chaîne sur d’autres risques, d’autres processus, d’autres entités. Ces interdépendances sont la principale source d’effets systémiques — et elles échappent aux méthodes classiques.

L’explosion combinatoire

Pour comprendre l’ampleur du problème, un ordre de grandeur suffit.

Considérons trois risques identifiés. Chacun peut être actif ou inactif, interagir avec un autre ou non, amplifier ou atténuer l’effet d’un autre. Le nombre de configurations possibles de leurs relations croît de manière factorielle. Pour trois risques, le nombre de combinaisons dépasse ce que l’analyse humaine peut traiter. Pour dix risques, il dépasse les capacités de calcul des méthodes déterministes ou statistiques classiques. Pour trente, il dépasse tout ce que les capacités de calcul connues peuvent traiter.

Ce n’est pas une question de puissance de calcul. C’est une question de nature : l’espace des combinaisons est trop vaste pour être exploré exhaustivement.

Les black swans

Il existe un nom pour ces événements que les matrices ne voient pas : les black swans.

Le concept a été formalisé par Nassim Nicholas Taleb. Un black swan est un événement rare, imprévisible, et à impact majeur. Rare, parce qu’il n’a pas de précédent connu. Imprévisible, parce qu’aucun modèle statistique ne peut l’anticiper. À impact majeur, parce qu’il bouleverse l’organisation, le marché, ou l’écosystème dans lequel il survient.

L’expression vient d’une anecdote célèbre. Pendant des siècles, les Européens ont cru que tous les cygnes étaient blancs. C’était une certitude fondée sur l’observation : chaque cygne vu était blanc. Jusqu’au jour où l’on a découvert des cygnes noirs en Australie. Une seule observation a suffi à invalider des siècles de certitude.

Les black swans fonctionnent de la même manière. On ne les voit pas venir, parce qu’on ne les a jamais vus. Et quand ils arrivent, ils invalident les modèles qui prétendaient les exclure.

Pourquoi les matrices de risques ne les voient pas. Les matrices reposent sur des fréquences estimées à partir du passé. Un black swan, par définition, n’a pas de passé. Il n’a pas de fréquence. Il n’entre dans aucune case de la grille, parce que la grille a été construite à partir de ce qui s’est déjà produit.

Pourquoi l’IA ne les voit pas encore. C’est ici que le survivorship bias rejoint la question des black swans. Les données disponibles proviennent d’organisations qui ont survécu — donc qui n’ont pas connu de black swan destructeur. Les black swans qui ont détruit des organisations ne figurent pas dans les données. Le système apprend à partir de ce qui n’a pas tué, et il ne peut pas anticiper ce qui tue.

Ce que cela change. Les black swans ne sont pas une catégorie de risque parmi d’autres. Ils sont la limite structurelle de toute approche fondée sur l’observation du passé. Reconnaître leur existence, c’est admettre que l’évaluation des risques — aussi rigoureuse soit-elle — ne protège pas contre tout. Elle protège contre ce qu’on connaît. Elle est aveugle à ce qu’on n’a jamais vu.

Ce que les patterns changent

Une partie de la réponse réside dans les patterns.

Un pattern est une configuration récurrente d’éléments interconnectés qui produit un effet identifiable. Dans le contexte des risques, il peut s’agir d’un enchaînement (A déclenche B qui déclenche C), d’une convergence (plusieurs risques convergent vers un même effet), d’une divergence (un risque produit plusieurs effets), ou d’une boucle (un effet qui renforce sa propre cause).

Les patterns ne s’obtiennent pas par l’inventaire des risques. Ils émergent de l’analyse de leurs relations. C’est précisément ce que les matrices ne font pas : elles listent, elles cotent, elles classent, mais elles ne relient pas.

Le défi de l’IA

Faire émerger les patterns pertinents du bruit est un défi à la portée de l’IA — mais non résolu à ce jour.

La difficulté n’est pas technique. Elle est épistémique. Les données disponibles proviennent d’organisations qui ont survécu. Elles ne contiennent pas les combinaisons qui ont conduit aux catastrophes, parce que ces catastrophes ont détruit les organisations qui les ont vécues. C’est le survivorship bias appliqué à l’analyse des risques : le système apprend que certains patterns se résolvent en sécurité parce qu’il n’observe que des patterns qui se sont résolus en sécurité.

Cette limite est documentée. Elle est connue. Elle n’est pas contournée par plus de données, ni par plus de puissance de calcul. Elle est structurelle.

Ce que cela implique

Reconnaître cette limite, c’est déjà un pas. Cela signifie que l’évaluation des risques, telle qu’elle est pratiquée, ne peut pas tout voir. Elle est nécessaire, mais insuffisante. Elle protège contre les risques connus, documentés, mesurables. Elle est aveugle aux combinaisons émergentes, aux effets de cascade, aux patterns qui n’ont pas encore de précédent — et aux black swans, qui par définition échappent à toute observation préalable.

C’est cette limite que le livre blanc Système neurovégétatif prédictif d’entreprise explore. Il ne propose pas de solution miracle. Il pose les bases d’une approche qui pourrait, à terme, permettre à l’IA de faire émerger les patterns pertinents du bruit.

Ce que cela change

Pour le risk manager. L’évaluation n’est pas un exercice de notation. C’est un exercice de jugement. Le risk manager doit fournir la méthodologie, pas se substituer au jugement des opérationnels. Il doit aussi rendre explicites les biais, les incertitudes, et les choix qui ont été faits.

Pour le manager. L’évaluation d’un risque engage sa responsabilité. Il ne peut pas déléguer le jugement. Il peut déléguer la collecte, l’analyse, la formalisation — mais la décision lui appartient.

Pour l’organisation. Une évaluation approximative produit un plan d’action approximatif. Une évaluation biaisée produit un plan d’action qui traite les mauvais risques. La qualité de l’évaluation détermine la qualité de la protection.

Et la première qualité d’une évaluation, c’est l’humilité. Reconnaître que l’on ne sait pas tout. Que les chiffres sont des estimations. Que les matrices sont des outils, pas des vérités. Que la subjectivité est inévitable, et qu’il vaut mieux la nommer que la masquer. Que les patterns émergents — ceux qui produisent les effets systémiques — restent, à ce jour, largement hors de portée. Et que les black swans, par définition, échapperont toujours aux modèles construits sur le passé.

Pour aller plus loin

  • La gestion des risques en entreprise : cadre, processus et limites — le processus complet, les cadres de référence, les limites. [Lien vers l’article]

  • Le Guide du manager systémique — comprendre les organisations comme des systèmes. À paraître.

  • Le livre blanc Système neurovégétatif prédictif d’entreprise — l’approche par les patterns, les bases méthodologiques, les perspectives. [Lien vers HAL/Zenodo]


Cet article fait partie du parcours « Gestion des risques ». Il attire l’attention sur les fragilités de l’analyse, et ouvre une piste. Le livre blanc en pose les bases.

Jacques WALTER

Consultant indépendant

Jacques Walter est un ancien compliance officer, risk manager directeur du contrôle interne aux achats d'un groupe du CAC 40 (20 ans), associé d'une TPE (3 ans) et entrepreneur de niche depuis 15 ans. Praticien de la gouvernance, du risque et de la conformité, il est l'auteur de plusieurs ouvrages publiés chez AFNOR. Il écrit sur la compréhension des systèmes, le management et l'entrepreneuriat individuel.

41 articles publishedExpertise: Gouvernance, Gestion des risques, Contrôle interne, Conformité, Management des processus

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *