DOCUMENTS SUR LES SONDAGES EN AUDIT

lien vers programme de formation

lien vers article paru dans la Revue Française de comptabilité 

Tableau de Modèle d'assurance

Risque inhérent évalué (RI)

Evaluation des systèmes de contrôle interne

Assurance obtenue à partir de l'évaluation combinée du risque

Niveau résiduel de vérification de détail à effectuer

degré de confiance minimal à obtenir à partir des vérifications de détail (en %)

Taille minimale de l'échantillon correspondant pour un taux d'erreur maximum de                        2%                  5%

Peu élevé

Excellents

assurance résultant des contrôles : élévée

Minimaux

45

30

12

Bons

assurance résultant des contrôles : moyenne

Normaux

67

55

22

Faibles ou contrôles non testés

assurance résultant des contrôles : faible

Ciblés

92

125

50

Elevé

Excellents

assurance résultant des contrôles : élévée

Normaux

67

55

22

Bons

assurance résultant des contrôles : moyenne

Normaux

80

80

32

Faibles ou contrôles non testés

assurance résultant des contrôles : faible

Ciblés

95

150

60

 

Source : cour des comptes européenne. Manuel d'audit financier et d'audit de conformité p50.

Calculs réalisés pour 5 % par Michel PIRON

Pour en savoir plus, voir à la rubrique Formations, mes séminaires sur les sondages

 

 

 

LES SONDAGES ET LES TESTS DE PROCEDURES (de contrôle interne) 

 

       La place des sondages sur le contrôle interne dans la démarche du Commissaire aux comptes.

       Quelques définitions (population, échantillon…)

       La caractéristique de ne pas tenir compte des Euros.

       Définition des objectifs de la recherche (ex : assertion, risque de sur ou sous-estimation)

       Définition de la population (ex : factures de ventes, d’achats, respect d’une procédure d’appel d’offre…)

       Définition de l’anomalie, la nature précise de l’erreur (ex : absence de justificatif, de visa)

       Choix de la méthode la plus appropriée en fonction des objectifs 

       Détermination de la taille de l’échantillon à construire…

       Sélection de l’échantillon

       Pratique du test

       Conclusion sur la population

       Correction des erreurs et impact de la correction

       Lien avec la suite de la mission et notamment les contrôles de substance.

       Découverte de la méthode SUM (sondage sur les unités monétaires) qui sera utilisée dans les contrôles de substance mais qui s’appuie sur les connaissances acquises lors de l’utilisation de la loi binomiale.

 

LES SONDAGES ET LES CONTRÔLES DE SUBSTANCE (tests de détail) 

 

       La place des sondages sur les comptes dans la démarche du Commissaire aux comptes.

       Quelques définitions (population, échantillon…)

       La caractéristique de tenir compte des Euros.

       Lien avec le seuil de signification, de planification

       Définition des objectifs de la recherche (ex : assertion, risque de sur ou sous-estimation)

       Définition de la population (ex : comptes clients, stocks…)

       Définition de l’anomalie, la nature précise de l’erreur (ex en €)

       Choix de la méthode la plus appropriée en fonction des objectifs 

       Détermination de la taille de l’échantillon à construire…

       Sélection de l’échantillon

       Pratique du test

       Conclusion sur la population

       Correction des erreurs et impact de la correction

       Lien avec l’émission de l’opinion.

NB : le participant sera amené à utiliser des tables statistiques ainsi que des outils d’Excel et du Pack Sondages.

 

Sondages non statistiques et sondages statistiques : comparatif

  • mars 2019
  •  
  • Numéro : 529
  • Thématique(s) : audit
Expert-comptable, formateur en techniques de sondages auprès de la Cour des comptes à Bruxelles

Les normes françaises d’audit (NEP 530), comme les normes internationales (ISA 530), prévoient que les sondages puissent être réalisés de manière statistique ou non statistique. Après avoir exposé les principales différences entre ces deux modes de réalisation de sondages, nous proposerons une ouverture sur une méthode mixte par l’intégration de la confiance déjà acquise par ailleurs.

 

 

LE SONDAGE STATISTIQUE

Le sondage statistique est plus contraignant en ce qu’il impose le respect de conditions cumulatives :

• la définition de la taille de l’échantillon ainsi que la conclusion sur la population doivent être appuyées sur une loi de probabilité permettant de mesurer le risque d’échantillonnage (la loi binomiale par exemple) ;

• l’échantillon doit être sélectionné de manière aléatoire.

La contrepartie de cette contrainte est que là où le sondage non statistique permet seulement de se faire « une idée » de la qualité d’une procédure ou de la valeur d’un compte, le sondage statistique permet d’exprimer une conclusion chiffrée assortie de la probabilité que cette conclusion soit correcte.

Exemple

Si nous prélevons un échantillon de 30 factures de manière aléatoire au sein de 10 000 factures afin de tester l’existence de mentions légales, et que nous ne trouvons aucune anomalie dans cet échantillon, le sondage non statistique nous apporte une très faible présomption qu’il n’y a pas d’erreur au sein des 9 970 autres factures.

Le sondage statistique nous permettra de conclure qu’il y a 70 % de chances pour que le taux d’erreur dans la population ne dépasse pas 4 %, autrement exprimé que ce taux est compris entre 0 et 4 %. 

Ceci reviendrait également à dire que le risque d’avoir un taux d’erreur supérieur à 4 % est de 30 %.

Si nous faisons passer la taille de l’échantillon à 60 individus, dans le cadre non statistique nous avons toujours une faible présomption, dans le cadre statistique nous pouvons cette fois conclure qu’il y a 90 % de chances pour que le taux d’erreur dans la population ne dépasse pas 4 % (à la condition de n’avoir toujours aucune erreur dans l’échantillon).

Le sondage statistique permet donc de conclure de manière scientifique alors que le sondage non statistique ne permet que de se faire une idée. La statistique est donc beaucoup plus puissante et devrait de ce fait être intégrée naturellement dans les travaux des auditeurs.

Dans la pratique, les auditeurs introduisent souvent le fait qu’ils ont par ailleurs une connaissance de l’entité contrôlée qui leur permet de se contenter d’un sondage non statistique, par exemple le risque inhérent est jugé moyen, et la procédure qu’ils contrôlent est bien conçue et a déjà donné de bons résultats par le passé. 

Ceci peut bien sûr être entendu, mais on pourrait également imaginer d’introduire cette confiance déjà acquise dans le cadre du sondage statistique en réduisant le degré de confiance recherchée et par là-même, la taille de l’échantillon. 

LA PROCÉDURE DE SONDAGE ET LA PRISE EN COMPTE DE LA CONFIANCE DÉJÀ ACQUISE

Dans un sondage de procédures, un risque inhérent moyen permettrait de considérer qu’un degré de confiance de 90 % équivaudrait à un degré de confiance de 95 % dans un contexte qui ne tiendrait pas compte du risque inhérent (où celui-ci est considéré comme équivalent à 100 %). Pour un taux d’erreur acceptable de 4 %, cela réduit la taille de l’échantillon de 74 à 57.

Pour un risque inhérent faible, donc une confiance déjà acquise élevée avant un sondage, le degré de confiance pourrait être ramené à 75 %, ce qui donnerait pour un taux d’erreur acceptable de 4% un échantillon de 34 individus.

Nous pouvons noter au passage que plus l’échantillon se réduit, plus la probabilité de ne pas trouver d’erreur au sein de celui-ci augmente.

Avec un taux d’erreur dans la population de 4 % exactement, et un échantillon de taille :

• 74, la probabilité d’avoir 0 erreur dans l’échantillon est de 4,88 % ;

• 57, la probabilité d’avoir 0 erreur dans l’échantillon est de 9,76 % ;

• 34, la probabilité d’avoir 0 erreur dans l’échantillon est de 24,96 %.

Dans un sondage sur les comptes, un risque lié au contrôle interne estimé à 10 % permettrait de réduire le degré de confiance recherché dans le sondage à 50 % au lieu de 95 % et donc de réduire la taille de l’échantillon à 17 au lieu de 74 soit un « gain » de 57 (77 %). Les normes ne prévoient-elles pas qu’un contrôle interne fort permet de réduire les contrôles de substance ?

Dans ce cas, même si la méthode devient mixte (un calcul scientifique basé sur un degré de confiance recherché considéré comme équivalent à un degré de confiance plus élevé, du fait de l’intégration de la confiance déjà acquise par ailleurs), elle permet de conclure de manière beaucoup plus précise avec un travail considérablement allégé.

Un degré de confiance de 50 %, voire moins, paraît de prime abord farfelu (avoir 50 % de chances ou plus de se tromper !) mais peut tout à fait se justifier dans le cadre d’un degré recherché après prise en compte d’une confiance déjà acquise par ailleurs (voir ci-après un tableau produit par la Cour des comptes européenne qui fait ressortir sur sa première ligne un degré de confiance de 45 %).

Les éléments avancés dans cet article s’appuient sur une réflexion menée à partir de documents de l’AICPA, de la cour des comptes européenne et des normes d’audit nationales et internationales. Les calculs ont été réalisés à l’aide du logiciel Pack-Sondages.

Tout ceci peut paraître un peu ardu, mais avec les bons outils et une formation adaptée, la mise en pratique sur les dossiers peut être facilement réalisée et ainsi, lors d’un contrôle ou d’une mise en cause, renforcer la démonstration de la mise en œuvre de diligences adaptées. 

 

 

 

       

 

Intelligence artificielle et audit : quels enjeux ?

commissaire aux comptes, formateur en techniques de sondages auprès de la Cour des comptes à Bruxelles

Les auditeurs ont l’habitude d’analyser des données, cela fait partie de leur ADN ! L’introduction de l’intelligence artificielle dans plusieurs pans de l’activité économique aura forcément un impact pour les métiers de l’audit. Après avoir rappelé les caractéristiques de l’intelligence artificielle et son environnement, nous nous attacherons à mesurer ses conséquences sur les modalités d’exercice de la mission de commissaire aux comptes.

 

 

L’ENVIRONNEMENT DE L’INTELLIGENCE ARTIFICIELLE

L’IA se définit comme la simulation d’intelligence par des machines au moyen de différentes techniques, faisant notamment appel aux sciences cognitives, aux réseaux neuronaux, aux mathématiques et à l’informatique.

L’IA trouve des applications aussi bien dans les tâches répétitives que dans la résolution de problématiques complexes.

On regroupe habituellement sous le terme « d’intelligence artificielle » un ensemble de notions s’inspirant de la cognition humaine ou du cerveau biologique, et destinées à assister ou suppléer l’individu dans le traitement des informations massives 1.

En ce qui concerne le « big data », cette expression signifie littéralement mégadonnées, … elle désigne un ensemble très volumineux de données (parfois hétérogènes) qu’aucun outil classique de gestion de base de données ou de gestion de l’information ne peut vraiment travailler.

Dans l’environnement de l’IA, le Data Mining est le procédé technique permettant de trouver des corrélations ou des « patterns » entre de nombreuses bases de données relationnelles.

Ces corrélations peuvent ensuite être utilisées par les entreprises pour augmenter un chiffre d’affaires ou pour réduire des coûts. Elles peuvent également servir à mieux comprendre une clientèle afin d’établir de meilleures stratégies marketing.

La singularité de l’IA

Au-delà de sa capacité à maîtriser les techniques rappelées ci-dessus, l’IA est capable d’apprendre par elle-même. Par exemple, on présente à l’ordinateur des milliers de photos de voitures, sans lui donner d’autres informations, il sera par la suite capable de reconnaître des voitures, même de modèles jamais vus, de les distinguer de camions, bus, trains ou vélos et de les localiser sur d’autres photos ou vidéos. La technologie correspondante est basée sur l’apprentissage profond (deep learning). On comprend tout son intérêt si l’on pense aux voitures sans chauffeur capables de reconnaître les différents véhicules et de les distinguer des piétons.

En audit, l’IA pourrait donc, au-delà du savoir des experts intégré dans la programmation, s’enrichir de ses propres réalisations et de ses recherches. La machine pourrait ainsi acquérir une sorte d’« expérience professionnelle ».

Elle pourrait également disposer de modèles prédictifs.

L’IA peut traiter des données non homogènes (reconnaissance de données informatiques lui arrivant sous différents formats), d’écritures manuscrites, de données orales, de photos…), des données dépendant d’un contexte (interprétation différente de la même base de données selon un contexte connu), des données incomplètes (archives perdues, détruites…).

Si l’intelligence artificielle a investi de nombreux domaines tels que l’armée pour l’aide à la prise de décision, la médecine pour l’aide au diagnostic ou encore la finance pour la gestion des fonds, quelles sont les possibilités pour l’audit ?

LA MISSION D’AUDIT ET L’IA

La question peut se poser de savoir si les normes internationales et nationales ne nécessiteront pas un travail d’adaptation, de révision. En effet, au niveau des NEP, le mot ordinateur est présent une seule fois dans le cadre spécifique de la prise en compte de la fraude 2. Est-ce bien suffisant ? Notons que ce mot revient 13 fois dans les normes ISA.

Les différents points clefs de la démarche d’audit et l’IA

La prise de connaissance de l’entité à contrôler par l’auditeur et l’IA

L’IA est dotée d’une capacité de lecture presque sans limite. Elle pourra donc facilement lire les statuts et les documents juridiques, les articles concernant l’entreprise, la presse financière, la législation particulière à une activité, la documentation technique…

Dans le cadre des entretiens avec la direction ou le personnel, les ordinateurs intégrés dans des robots pourraient dialoguer facilement avec les humains. La discussion pourrait également prendre la forme d’une conversation « Skype » avec l’ordinateur. Reste à savoir si les dirigeants accepteront ce mode de fonctionnement.

Dans le cadre de la prise en compte du risque de fraude et afin de déterminer le profil du dirigeant (notamment sa probité), l’IA aura la capacité technique de se connecter à une base concernant les antécédents judiciaires, mais en aura-t-elle l’autorisation ?

L’IA pourrait avoir des connaissances en psychologie (cela existe déjà), en PNL (programmation neuro linguistique) et maîtriser des techniques utilisées par les mentalistes, ce qui pourrait permettre d’affiner le profil du dirigeant. 

L’IA et le contrôle interne

En vue de l’analyse de la conception et du fonctionnement du système d’information, des process, l’IA pourrait se connecter au système informatique de l’entreprise, qui lui-même serait peut-être aussi doué d’intelligence artificielle. Les auditeurs internes de l’entité bénéficieront probablement aussi de l’IA pour les assister dans leur mission.

Pour ce qui concerne la séparation des fonctions : des tests d’autorisations informatiques par exemple seraient facilement réalisés à l’aide de l’IA.

D’une manière générale, l’audit du système informatique de l’entreprise sera plus facilement réalisé à l’aide de l’IA.

A noter

Certains experts pensent qu’à partir d’un certain stade de développement une IA ne serait pas auditable.

Détermination du risque d’anomalies significatives

L’IA sera-t-elle plus performante pour déterminer le niveau de risque inhérent (RI) et de risque lié au contrôle (RLC) et par voie de conséquence le risque d’anomalies significatives (RAS) ? Rappelons à ce sujet que la matrice de l’IAASB propose de quantifier les risques selon 3 niveaux : « Elevé », « Moyen », « Faible ».

L’IA fera peut-être mieux en intégrant par exemple de la logique floue 3.

Notons que dans cette matrice un risque inhérent « Elevé « associé à un risque lié au contrôle interne « Faible » donne un risque de non détection par l’auditeur de niveau  « Moyen ». Il s’agit là d’un parti pris car si l’on chiffre les risques RI  à 90 %, ceux du RLC à 5 %, le RAS se situe à 4,5 % soit à un niveau inférieur au risque d’audit de 5 % généralement retenu, ce qui justifierait un risque (acceptable) de non détection placé à un niveau « Elevé » et donc une intervention moins importante de l’auditeur.

Ceci plaide en faveur de la présence des commissaires aux comptes dans les entreprises de taille plus modestes, avec un niveau d’intervention limité par une approche par les risques bien maîtrisée.

L’IA et les contrôles de substance

Les procédures analytiques se prêtent apparemment bien à une approche par l’IA.

En matière de sondage, lorsque que le contrôle exhaustif ne sera pas possible ou nécessaire, l’IA aura la possibilité d’augmenter facilement la taille des sondages, qu’elle pourra réaliser dans le cadre de lois statistiques plus facilement peut-être qu’un humain (les modèles de calcul des différentes lois étant intégrés à la machine).

En ce qui concerne les dépréciations des titres, des créances clients, des autres créances et des prêts, : l’IA aura plus de facilité à rechercher dans d’immenses bases de données les signes, les critères, les modèles permettant de se faire une idée de la probabilité de recouvrement et donc de la nécessité ou non d’une dépréciation et pour quel montant.

La question peut être également posée pour les provisions pour risques : l’IA aura-t-elle la capacité de détecter les risques pouvant nécessiter une provision et fournir une meilleure estimation de ces risques ?  A ce titre, il est légitime de se demander si la crise liée aux « subprimes » aurait été mieux appréhendée avec l’IA. 

Pour le contrôle des stocks :  on peut imaginer des drones, équipés de caméras, guidés par l’IA, filmant un parc de véhicules et relevant tous les numéros d’immatriculation afin de les rapprocher d’une liste existante par ailleurs.

Enfin, en matière de confirmation directe, les échanges entre ordinateurs se feront de plus en plus facilement. Les rapprochements automatisés de données devraient faciliter cet exercice.

L’IA et la fraude

L’IA pourra avoir intégré les modèles de fraudes et de blanchiment déjà connus mais sans doute aussi comprendre les indices d’une fraude dont le schéma est encore inconnu. A titre d’exemple, citons les premières machines jouant aux échecs ou au jeu de Go contre les hommes, qui avaient mémorisé un très grand nombre de parties déjà jouées entre humains. Les machines actuelles ne connaissent que la règle du jeu et apprennent seules en jouant contre elles-mêmes 4.

La continuité d’exploitation

L’IA pourra avoir intégré les modèles prédictifs de défaillance d’entreprises basés sur des technologies comme les réseaux de neurones, la programmation génétique, les arbres de classification, les systèmes flous… Elle n’aura toutefois pas l’expérience particulière de l’humain, d’un vécu mais ne sera-t-elle pas capable de l’acquérir ? 

LA RESPONSABILITÉ LIÉE À L’UTILISATION DE L’IA

L’IA pourrait minimiser le risque de mauvaises opinions sur les comptes et limiter ainsi la responsabilité des auditeurs. Son utilisation renforce le respect de l’obligation de moyens.

Si l’on imagine qu’un jour l’IA puisse prendre la décision finale cela pose le problème de la responsabilité sous un autre jour : la responsabilité incombe-t-elle au propriétaire de l’IA, à son utilisateur, à son fabriquant…un peu comme pour les voitures sans chauffeur en cas d’accident.

PROSPECTIVE : ET SI L’IA PRENAIT LA DÉCISION FINALE ?

L’IA pourra travailler par apprentissage et reconnaissance avec des outils tels que les méthodes statistiques de reconnaissance de formes, les réseaux neuronaux 5, la logique floue, les réseaux neuro-flous 6, les systèmes experts et le raisonnement à partir de cas (en audit, on peut introduire un grand nombre de cas, de dossiers réels de commissaires aux comptes, comme on déjà introduit des « cas » dans le domaine médical).

Dans bien des domaines (armée, médecine, banques, assurances, audit, …) on conçoit l’IA comme un système expert capable d’aider l’homme à prendre une décision. Mais ne laissera-t-on pas un jour la machine prendre la décision seule ?

On peut être réticent à se contenter du diagnostic médical d’une machine et l’on aimera sans doute avoir un avis humain avant de subir une intervention chirurgicale lourde 7.

Sera-t-on aussi réticent concernant la certification de comptes annuels ? L’homme responsable de la décision finale saura-t-il capable d’aller contre la conclusion de l’IA ? Si l’IA veut certifier les comptes sans réserve, l’homme en formulera-t-il une qui lui paraît nécessaire ? L’homme prendra-t-il la responsabilité de ne pas émettre de réserve là où la machine l’estime nécessaire ?

A ce stade, certains pensent sans doute que la machine n’est pas capable d’avoir une opinion qui l’amène à prendre une décision. Mais quant à savoir si un certain seuil (de signification, par exemple) est dépassé et à prendre la décision de mettre une réserve (ou un refus) dans un rapport… où est la difficulté dès lors qu’aucun facteur exogène de quelque nature que ce soit ne vient perturber la prise de décision ? Si l’on veut défendre la place de l’humain dans ce cas précis, il faut alors admettre qu’aujourd’hui, le dépassement du seuil fixé librement par l’auditeur ne suffit pas à déclencher la réserve.

QUEL AVENIR POUR LES CABINETS D’AUDIT ?

Aujourd’hui la recherche dans le domaine de l’IA est dominée par les géants américains (GAFAM : Google, Amazon, Facebook, Apple, Microsoft) et chinois (BATX : Baidu, Alibaba, Tencent et Xiaomi). L’Europe n’a pas d’équivalent 8.

Les cabinets d’audit de ces pays seront sans doute les premiers à bénéficier des avancées de cette recherche qui devraient se généraliser dans la plupart des grands cabinets d’audit.

En France aujourd’hui la question de l’avenir est posée pour les cabinets gérant les « petits » dossiers. Dans quelques décennies, elle se posera peut-être pour tous les cabinets, même les plus importants par la taille.

En effet, si la loi impose un contrôle des entreprises  pour créer de la sécurité financière mais qu’une machine peut remplacer un cabinet d’audit privé, quel intérêt pour les gouvernements de conserver ce schéma plutôt que d’avoir la main mise sur ce contrôle, par le biais de l’IA en direct ou à travers un organisme tel que la  Cour des comptes ? Et ce d’autant plus que l’audit pourrait alors être appliqué également à toutes les entités publiques comme les régions, les départements, les communes, ainsi qu’aux entités recevant des financements de l’état.

La loi pourrait peut-être aussi accorder le droit à l’IA de se connecter aux systèmes d’information des fournisseurs, des clients, des banques des assurances, des organismes types URSSAF, caisses de retraite, … pour effectuer tous les recoupements nécessaires et en cela être plus performant que les auditeurs actuels.

Une première étape plus légère pourrait être de lui fournir les FEC de ces différents organismes aux fins de recoupements.

Exemple

Lorsque la CNIL a décidé d’autoriser la fusion des fichiers des différentes CRAM, de nombreuses fraudes ont été découvertes, parfois par un simple test de doublons permettant de détecter les personnes faisant valoir des droits plusieurs fois en s’inscrivant dans des régions différentes.

***

L’IA sera-t-elle comme la langue d’Esope la meilleure et la pire des choses ?  

Le papier carbone et les cartes perforées ne sont pas si loin en arrière et l’évolution est de plus en plus rapide. Il n’est pas exclu que l’IA puisse arriver au niveau de l’intelligence humaine et même la surpasser dans les décennies à venir. Le travail des cabinets d’audit tel qu’il est pratiqué aujourd’hui peut disparaître. A quelle échéance ? Nous ne le savons pas encore. Il faut s’y préparer, anticiper, trouver de nouvelles missions, former les collaborateurs pour qu’ils puissent s’adapter à ce monde en mouvement.