Documentatie - IBR

IBR-IRE
STUDIEDAG
De performantie-audit in de openbare en de non-profitsector
JOURNÉE D’ÉTUDES
L'audit de performance dans les secteurs public et non marchand
STUDY DAY
The performance audit in the public and not-for-profit sector
Brussel/Bruxelles/Brussels
Auditorium of the National Bank of Belgium
Donderdag/Jeudi/Thursday 22.11.2012

Program
Brussels, 22.11.2012
Auditorium of the National Bank of Belgium
Président de la journée d’études :
Monsieur Eric MATHAY, Membre du Conseil de l’IRE et
Président de la Commission non marchand (IRE-IBR)
De performantie-audit
in de openbare en de non-profitsector
L’audit de performance
dans les secteurs public et non marchand
The performance audit
in the public and not-for-profit sector
08.30 Onthaal – Accueil – Reception
09.00 Inleiding - Introduction - Introduction
Monsieur Eric MATHAY, Membre du Conseil de l’IRE et Président de la
Commission non marchand
09.15 Definitie van een performantie-audit – De stappen van een performantieaudit
Définition d’un audit de performance – Les étapes d’un audit de
performance
Definition of a performance audit – The stages of a performance audit
Mevrouw Danielle VERMAELEN, Lid van de Commissie non-profit en
Bedrijfsrevisor
Madame Corinne DEGOUYS, Senior Manager, Standard Assurance
Services, Ernst & Young
10.15 Gelijkenissen en onderscheid tussen performantie-audit en financiële
audit
Convergences et nuances entre l’audit de performance et l’audit financier
Similarities and differences between performance audit and financial audit
Monsieur Baudouin THEUNISSEN, Membre de la Commission non
marchand et Réviseur d’entreprises
10.45 Koffiepauze – Pause-café – Coffee break
11.00 Voorstel van een casestudie – Belgisch Rekenhof
Présentation d’un cas pratique – Cour des comptes Belgique
Presentation of a case study – Belgian Court of Audit
De heer Ignace DESOMER, Voorzitter, Rekenhof
De heer Vital PUT, eerste-auditeur-revisor, Rekenhof
De heer Eddy VAN LOOCKE, eerste-auditeur-revisor, Rekenhof
11.45 Auditing Government Activities in relation to the Crisis in the Danish
Financial Sector
Mrs Bettina JAKOBSEN, Deputy Auditor General, Danish Court of
Auditors
Mr Mads Nyholm JACOBSEN, Director, Danish Court of Auditors
12.30 Vragen en antwoorden - Questions et réponses - Questions and answers
12.45 Walking lunch
14.00 Voorstel van een casestudie – Europees Rekenhof
Présentation d’un cas pratique – Cour des Comptes européenne
Presentation of a case study – European Court of Auditors
Mr Igors LUDBORŽS, Member, European Court of Auditors, Dean of the
CEAD Chamber
14.45 Voorstel van casestudies en getuigenissen – Externe auditor
Présentation de cas pratiques et témoignages – Auditeur externe
Presentation of case studies and testimonies – External auditor
De heer Herman Jan VAN IMPE, Lid van de Commissie non-profit en
Bedrijfsrevisor
De heer Patrick Van Bourgognie, Bedrijfsrevisor
Mrs Ida BRORSSON, Manager, Assurance, Ernst & Young (Sweden)
15.45 Rondetafelgesprek: huidige en toekomstige rol van de bedrijfsrevisor in
het kader van een performantie-audit
Table ronde : Rôle actuel et futur du réviseur d’entreprises dans le
contexte d’un audit de performance
Round table: current and future role of the statutory auditor within the
framework of a performance audit
Modérateur : Monsieur Michel DE WOLF, Président, Institut des
Réviseurs d’Entreprises (IRE-IBR)
Mr Igors LUDBORŽS, Member, European Court of Auditors, Dean of the
CEAD Chamber
De heer Ignace DESOMER, Voorzitter, Rekenhof
Mr Mads Nyholm JACOBSEN, Director, Danish Court of Auditors
Mevrouw Martine VERLUYTEN, Voorzitter van het auditcomité, IAVA
Monsieur Jean-Michel CASSIERS, Président, IIA Belgium et Directeur
général adjoint Service Général de l’Audit et de la Qualité, Fédération
Wallonie-Bruxelles
De heer Lieven ACKE, Raadslid IBR, Bedrijfsrevisor
Prof. Dr. Johan CHRISTIAENS, Lid van de Commissie non-profit,
Accounting Research Public Sector UGent en Bedrijfsrevisor
De heer Herman Jan VAN IMPE, Lid van de Commissie non-profit en
Bedrijfsrevisor
16.45 Conclusie & toekomstige ontwikkelingen
Conclusion & évolutions futures
Conclusion & future development
Monsieur Michel DE WOLF, Président, Institut des Réviseurs
d’Entreprises
17.00 Slotreceptie – Réception de clôture – Closing reception

IBR-IRE
Inleiding - Introduction - Introduction
Monsieur Eric MATHAY
Président de la journée d’études
Membre du Conseil de l’IRE et Président de la Commission non marchand

IBR-IRE
Definitie van een performantie-audit - De stappen van een performantie-audit
Définition d’un audit de performance - Les étapes d’un audit de performance
Definition of a performance audit - The stages of a performance audit
Mevrouw Danielle VERMAELEN
Lid van de Commissie non-profit en Bedrijfsrevisor
Madame Corinne DEGOUYS
Senior Manager, Standard Assurance Services, Ernst & Young

Performance Audit
Definitions and steps of a Performance Audit
IBR/IRE Conference 22 November 2012
Agenda
► 1. Definitions of a performance audit
►
►
►
►
►
1.1. What is a performance audit?
1.2. Why a performance audit?
1.3. What are the key questions in performance audit?
1.4. What are the performance audit standards?
1.5. What is the difference with an evaluation?
► 2. Steps of a performance audit
►
►
►
►
►
2.1. The performance audit cycle
2.2. Strategic planning
2.3. Preparation work
2.4. The Main study
2.5. Reporting and follow-up activities
Page 2
Presentation title

1. Definitions of a performance audit
1. Definitions of a performance audit
1.1. What is a performance audit?
‣ INTOSAI’s Auditing Standards (ISSAI 3000) state:
“Performance auditing is an independent examination of
the efficiency and effectiveness of government undertakings,
programs or organizations, with due regard to economy, and
the aim of leading to improvements.”
‣ ECA Performance Audit Handbook states:
“A performance audit is an audit of sound financial
management, namely economy, efficiency and effectiveness
with which the Commission and/or other audited entities
have used Community funds in carrying out their
responsibilities.”
Page 4
Presentation title

1. Definitions of a performance audit
1.2. Why a performance audit?
‣ Principles of sound financial management are defined in
the legislation. They mainly relate to the application of the
principles of economy, efficiency and effectiveness in all
government activities.
‣ Since the 80’s, the “New Public Management” approach
introduced a new set of values as accountability,
independence, control, efficiency, rationality, transparency
already applied in the private sector.
‣Performance audit may be seen as the “execution” of a
control on all public services on behalf of taxpayers/ordinary
citizens (good governance).
Page 5
Presentation title
1. Definitions of a performance audit
1.3. What are the key questions in performance audit?
‣ Definitions and illustrative questions (ECA) of the 3 E’s :
• Economy = Minimize the costs of the inputs
Have best prices been obtained for consultancy services for support
programme for SMEs?
• Efficiency = Relationship between outputs and used resources
How does the cost per job created by the Community training
programme for the long-term unemployed compare with similar
costs per job elsewhere?
• Effectiveness = extent to which objectives have been achieved
and the relationship between intended and actual impacts
Have Member States set up and properly implemented suitable
measures to monitor and mitigate environmental impact in the
sugar sector?
Page 6
Presentation title

1. Definitions of a performance audit
1.3. What are the key questions in performance audit?
Source: European Court of Auditors, Performance Audit Manual, page 17.
Page 7
Presentation title
1. Definitions of a performance audit
1.4. What are the performance audit standards?
‣ Supreme Audit Institutions :
INTOSAI Code of Ethics and Auditing Standards (3000-3100)
‣ European Commission and EU-funded programmes:
European Court Auditors (ECA) Performance Audit Manual.
‣ United States:
Generally Accepted Government Auditing Standards (GAGAS)
Page 8
Presentation title

1. Definitions of a performance audit
1.4. What are the performance audit standards?
‣ Relevant practice in European SAIs:
Audit Status
Routes
A. Traditional financial and compliance audit Germany
B. Traditional audit enriched with some
elements of performance audit evaluation
C. Institutionalized financial, compliance and
performance-auditing
Pollit & Bouckaert, 2004.
France/ EU/ Italy/ Belgium
Netherlands/ Sweden/
Finland/ Canada/ UK/
USA/ Australia/ New
Zealand
‣ Practices among external auditors
Page 9
Presentation title
1. Definitions of a performance audit
1.5. What is the difference with other practices?
Financial audit – to be detailed during the next presentation
Compliance audit
Performance Audit – an IAS view, 2012 IAS Conference.
Page 10
Presentation title

1. Definitions of a performance audit
1.5. What is the difference with other practices?
Evaluation
In the ECA Performance Handbook, main differences between a
performance audit and an evaluation are identified as: the context in
which they take place and the purpose of each.
The main differences are:
► Performance audit is often superimposed on an accountability
framework;
► Performance audits are carried out by auditors who maintain their
independence to select and determine the manner in which to
conduct their work (while an evaluation may be seen as a internal
control practice);
► Performance audit aims to deliver conclusions and
recommendations about economy, effectiveness and efficiency to
an Authority (Parliament) while evaluation has a strong focus on
the qualitative assessment of policy effectiveness.
Page 11
Presentation title
2. Steps of a performance audit

2. Steps of a performance audit
2.1. The performance audit cycle
‣Systematic approach to all performance audits
‣ As provided by ISSAI 3000, 4 main steps are identified:
‣ Strategic planning (selection of the topic)
‣ Preparation work
‣ The main study
‣ Reporting and follow-up activities
Selection Preparation Execution Reporting
‣ Average timing : several months to one year.
Page 13
Presentation title
2. Steps of a performance audit
2.2. Strategic planning
‣ Purpose : Selection of the audit topic(s) to be executed
‣ How ?:
1. Determine potential audit areas
2. Establish selection criteria
3. Identify main sources of information
‣ Approach :
‣ Pre-study through studying relevant legislations and literature
(reports, narratives, studies), interviews with experts and major
stakeholders.
‣ Consultations (public or intern).
Page 14
Presentation title

2. Steps of a performance audit
2.2. Strategic planning
Source: European Court of Auditors, Performance Audit Manual, page 17.
Page 15
Presentation title
2. Steps of a performance audit
2.3. Preparation work
‣ Purpose : Drawing up an audit proposal around the audit
question
‣ How ?:
1. Define the specific issues to be studied and the audit objectives
2. Develop the scope and the design of the audit
3. Determine the quality assurance, timetable and resources.
‣ Approach : pre-study, contacts with the audited entity.
Page 16
Presentation title

2. Steps of a performance audit
2.3. Preparation work
Source: European Court of Auditors, Performance Audit Manual, page 43.
Page 17
Presentation title
2. Steps of a performance audit
2.3. Preparation work
‣Audit question and sub-questions:
‣ Usually four levels
‣ Mutually exclusive
‣ Collectively exhaustive
‣Audit criteria:
‣ Standards to assess the performance
‣ Objective, credible, reliable, reasonable, attainable
‣ From recognised sources (legislations, normes, benchmarking, etc.)
‣Audit procedures:
‣ Customized work plan to answer the specific audit question
‣ Combination of qualitative and quantitative data collection methods
‣ Collect evidence to draw conclusions and issue recommendations.
Page 18
Presentation title

2. Steps of a performance audit
2.4. The main study
‣ Purpose = Implementation of the work plan
‣ Analytical and communicative process open,
constructive and active dialogue with the auditee is crucial,
for instance regarding the validation of the preliminary
findings.
‣ Audit Evidence:
‣ rather pervasive than conclusive
‣ Quantitative & qualitative: physical, documentary, oral or
analytical.
Page 19
Presentation title
2. Steps of a performance audit
2.4. The main study
‣ Data-collection methods:
‣ Desk review ;
‣ Interviews with auditee and stakeholders;
‣ Surveys (questionnaire);
‣ Focus group;
‣ Benchmarking;
‣ Inspection;
‣ Observation;
‣ Data-mining;
‣ Etc.
‣Each of these methods have their specific purpose,
advantages and challenges…
Page 20
Presentation title

2. Steps of a performance audit
2.4. The main study
‣ Audit findings:
Source: ISSAI 3000, page 63.
Page 21
Presentation title
2. Steps of a performance audit
2.4. The main study
‣ Success factors:
‣ Competencies of the auditors
‣ Background in financial or compliance audit, but also in evaluation,
social changes and management consultancy
‣ Creative, flexible and careful
‣ Professional judgment
‣ Quality process of the audit management
‣ Quality in data collection and documentation
‣ Sufficiency, relevance and reliability of the evidence
‣ Corroborative: Multiple sources provide better evidences
‣ Documentary evidence more reliable than oral evidence
‣ “Proper documentation of evidence is vital” (ECA, Performance
handbook, p.68)
Page 22
Presentation title

2. Steps of a performance audit
2.5. Reporting and follow-up activities
‣ Purpose: Preparation of a written audit report,
communication and follow up on the recommendations
‣ Main Characteristics:
‣ Written report
‣ Informative
‣ Qualities (ISSAI) : complete, accurate, objective, convincing and
as clear and concise as the subject-matter permits
‣ Usual report structure:
‣ Executive summary
‣ Audit objectives, scope, standards and methodology, sources
‣ Findings, conclusions and recommendations
‣ Comments from the auditee.
Page 23
Presentation title
2. Steps of a performance audit
2.5. Reporting and follow-up activities
‣ A performance audit does not usually end up with the
reporting … a follow up process should be implemented:
‣ To facilitate the effective implementation of report
recommendations ;
‣ To report on the deficiencies and improvements identified in the
follow-up of audits to the government or parliament.
‣Follow-up activities – some examples:
‣ Internal reviews and evaluations
‣ Specific seminars
‣ Special follow-up audits.
Page 24
Presentation title

IBR-IRE
Gelijkenissen en onderscheid tussen performantie-audit en financiële audit
Convergences et nuances entre l’audit de performance et l’audit financier
Similarities and differences between performance audit and financial audit
Monsieur Baudouin THEUNISSEN
Membre de la Commission non marchand et Réviseur d’entreprises

Cliquez Institut et des modifiez Réviseurs d’Entreprises le titre
Cliquez ______ pour ____ modifier ________ les ___ styles
______ du texte __ _____ du masque __ ______
Deuxième niveau
Troisième niveau
Quatrième niveau
Cinquième niveau
_______ ______
________ ______
________ ______
________ ______
Instituut van de Bedrijfsrevisoren
Cliquez et modifiez le titre
www.ibr-ire.be
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Audit de performance, audit financier
Convergences, nuances et divergences
Baudouin Theunissen
Réviseur d’entreprises
Réviseur agréé par l’Office de Contrôle des Mutualités
Commissaire aux Comptes (France)
19/11/2012 2

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Tout audit se fonde et utilise le système
d’information de l’entité auditée
www.ibr-ire.be
• L’audit financier: vérifie le respect des normes,
standards et règles légales dans l’établissement
des états comptables
• L’audit système: évaluation : structure,
organisation, processus, procédures,
moyens (dont l’informatique) et la sécurité
qui assurent qualité, exhaustivité et fiabilité
des informations constitutives de ces états
ET ……
19/11/2012
3
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
L’audit de performance aborde les aspects
• D’économie: rationalisation des coûts
• D’efficience: optimisation des résultats avec
les moyens alloués
• D’efficacité: atteinte des objectifs assignés
L’ensemble des trois approches
peut être complémentaire et constituer un tout
CONVERGENT relevant d’une démarche de
COMPREHENSION et d’EVALUATION GLOBALE
de l’entité auditée
19/11/2012
4

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
MAIS l’audit de performance diverge
• Dans les objectifs
• L’objet et le champ d’application
• Le cadre de référence
• La démarche d’investigation
• Les méthodes de collecte d’information
• Les critères d’évaluation et de jugement
• La nature et la forme des conclusions
de l’approche d’audit classique…
19/11/2012
5
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Objectifs
• L’audit de performance sert à établir si les moyens mis à
disposition de l’entité sont utilisés de manière rigoureuse
et efficace pour atteindre ses objectifs
• L’audit classique se focalise sur la manière
de constituer les états comptables par rapport
aux règles et pratiques standards légales et sur
la qualité, la fiabilité et l’exhaustivité de l’information
sur laquelle ils sont établis afin d ’évaluer s’ils donnent
une image fidèle de la situation économique de l’entité
19/11/2012
6

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Objet et champ d’application
• L’audit de performance investigue dans
le domaine des normes et procédures
de gestion et d’organisation et
s’interroge sur le système de management
• L’audit classique investigue sur l’application des
normes et procédures d’obtention et de contrôle
des données financières
19/11/2012
7
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Cadre de référence
• L’audit de performance se réfère
aux principes de management et
de gestion politique, de gestion
économique et de gestion sociale
• L’audit classique se réfère aux lois,
règles et normes du droit des sociétés
et des organisations
19/11/2012
8

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Démarche et méthodes d’investigation
• L’audit de performance requiert l’existence d’un plan
stratégique, d’une étude préparatoire et d’un suivi;
les moyens mis en œuvre et les techniques utilisées
sont à priori libres et variés (questionnaires, interviews,
analyses diverses….); l’approche peut être
orientée objectifs ou problèmes
• L’audit classique relève d’une démarche et de méthodes
codifiées et standardisées dans une optique de détection
de risques à impact financier potentiel
19/11/2012
9
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Plus spécifiquement l’audit de performance
• Se situe dans le cadre d’un plan stratégique et d’objectifs
précis par rapport auxquels se définissent les domaines
et thèmes d’investigation
• Requiert une pré-étude au cours de laquelle
se définissent les objectifs, le cadre, les critères
de référence, les domaines d’investigation, les
questions spécifiques et hypothèses à clarifier
et les sources d’information disponibles afin de
déterminer la faisabilité de l’audit
• Se construit dans un cadre d’échanges ouverts et
constructifs avec les responsables et cadres des
secteurs audités
19/11/2012
10

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Critères d’évaluation
• L’audit de performance requiert la définition
préalable de critères d’évaluation clairement
identifiés et partagés avec les personnes auditées
mais variables et adaptés au type d’entité auditée
et à la démarche envisagée
• L’audit classique fait référence à des critères
définis par la loi et les standards de révision
19/11/2012
11
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Nature et forme des conclusions
• L’audit de performance se traduit par des rapports
de formes et contenus variables adaptés aux sujets
traités et conçus dans l’optique d’utilité et de
faisabilité de mise en œuvre
• L’audit classique se traduit sous la forme
d’états et de rapports standardisés face à
l’image fidèle
19/11/2012
12

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Auditeurs intervenants
• L’audit de performance requiert des
intervenants expérimentés et ouverts
à des secteurs de compétences larges
et liés aux domaines investigués
• L’audit classique requiert des intervenants
expérimentés dans le secteur comptable
et financier et la gestion des risques
19/11/2012
13
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Indicateurs de gestion, tableaux de bord
et domaine d’application
• Une démarche d’audit de performance se justifie
aussi pour déterminer des indicateurs de gestion
pertinents et des critères ou niveaux de mesure
significatifs pour ceux-ci
www.ibr-ire.be
• Elle induit aussi, par rapport aux recommandations
formulées, un suivi d’évaluation sur le niveau d’efficacité
et d’avancée dans leur implémentation
• Une démarche d’audit de performance est applicable
dans tous secteurs tant publics que privés,
tant marchands et que non-marchands
19/11/2012
14

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Conclusions
• L’audit de performance converge avec
l’audit classique en ce qu’il le complète
et l’englobe dans la plupart des cas
• L’audit de performance diverge de l’audit classique
en de multiples facettes et méthodes et couvre
une diversité de domaines aussi bien stratégiques
que managériaux, dépassant le champ d’application
classique de la révision des comptes
• L’audit de performance est applicable à tous
secteurs confondus
19/11/2012
15

Cliquez Institut et des modifiez Réviseurs d’Entreprises le titre
Cliquez ______ pour ____ modifier ________ les ___ styles
______ du texte __ _____ du masque __ ______
Deuxième niveau
Troisième niveau
Quatrième niveau
Cinquième niveau
_______ ______
________ ______
________ ______
________ ______
Instituut van de Bedrijfsrevisoren
Cliquez et modifiez le titre
www.ibr-ire.be
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Prestatie-audit en financiële audit
Gelijkenissen, onderscheid en afwijkingen
Baudouin Theunissen
Bedrijfsrevisor
Bedrijfsrevisor erkend door de Controledienst voor de Ziekenfondsen
Rekeningencommissaris (Frankrijk)
20/11/2012 2

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Elke audit baseert zich op en maakt gebruik van het
informatiesysteem van de gecontroleerde entiteit
• De financiële audit: gaat na of de normen,
standaarden en wettelijke voorschriften bij het
opstellen van de boekhoudkundige overzichten
werden nageleefd
www.ibr-ire.be
• Systeemaudit: evaluatie: structuur, organisatie,
proces, procedures, middelen (waaronder
informatica) en de veiligheid die de kwaliteit,
volledigheid en betrouwbaarheid van de in deze
overzichten opgenomen informatie waarborgen
EN ……
20/11/2012
3
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
De prestatie-audit behandelt de volgende
aspecten:
• zuinigheid: kostenrationalisering
www.ibr-ire.be
• efficiëntie (doelmatigheid): optimalisering van de resultaten
aan de hand van de toegekende middelen
• effectiviteit (doeltreffendheid): verwezenlijking van de
vastgestelde doelstellingen
De drie aspecten samen
kunnen aanvullend zijn en een SAMENHANGEND geheel vormen in het
kader van het verwerven van INZICHT in en het GLOBAAL
BEOORDELEN van de gecontroleerde entiteit
20/11/2012
4

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
MAAR de prestatie-audit verschilt –
• voor wat betreft de doelstellingen,
• het doel en het toepassingsgebied,
• het referentiekader,
• de onderzoeksmethode,
• de informatieverzamelingsmethoden,
• de evaluatie- en beoordelingscriteria,
• de aard en de vorm van de conclusies –
van de klassieke auditbenadering
20/11/2012
5
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Doelstellingen
• De prestatie-audit dient vast te stellen of de entiteit de
haar ter beschikking gestelde middelen op strikte en
doeltreffende wijze heeft gebruikt om haar doelstellingen
te verwezenlijken
• De klassieke audit richt zich op de wijze waarop de
boekhoudkundige overzichten werden opgesteld
overeenkomstig de wettelijke voorschriften en
standaardpraktijken, alsook op de kwaliteit, betrouwbaarheid
en volledigheid van de informatie op basis waarop zij werden
opgesteld teneinde te evalueren of zij een getrouw beeld
geven van de economische positie van de entiteit
20/11/2012
6

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Doel en toepassingsgebied
• De prestatie-audit onderzoekt de beheers- en
organisatienormen en -procedures en stelt zich
vragen over het beheersysteem
• De klassieke audit onderzoekt de toepassing van de
normen en procedures voor het verkrijgen en
controleren van de financiële gegevens
20/11/2012
7
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Referentiekader
• De prestatie-audit verwijst naar de principes van
bedrijfsvoering en beleidsbeheer en van
economisch en maatschappelijk beheer
• De klassieke audit verwijst naar de wetsbepalingen,
voorschriften en normen van het
vennootschapsrecht en het recht van toepassing op
de organisaties
20/11/2012
8

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Onderzoeksprocedure en -methoden
• De prestatie-audit vereist een strategisch plan, een
voorbereidende studie en een follow-up; de ingezette
middelen en gebruikte technieken zijn a priori vrij te kiezen
en uiteenlopend (vragenlijsten, interviews, diverse analyses,
enz.); de benadering kan gericht zijn op de doelstellingen of
problemen
• De bij de klassieke audit gebruikte procedure en
gesystematiseerde en gestandaardiseerde methoden beogen
het opsporen van risico's met een mogelijke financiële impact
20/11/2012
9
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
De prestatie-audit
• wordt uitgevoerd met behulp van een strategisch plan en
duidelijke doelstellingen in functie waarvan de
onderzoeksgebieden en -thema's worden bepaald
• vereist een voorstudie waarbij de doelstellingen, het kader,
de referentiecriteria, de onderzoeksgebieden, specifieke
vragen en te verduidelijken veronderstellingen, alsook de
beschikbare informatiebronnen worden vastgesteld met het
oog op het bepalen van de uitvoerbaarheid van de audit
• wordt uitgevoerd in het kader van een open en constructieve
dialoog met de verantwoordelijken en kaderleden van de
gecontroleerde sectoren
20/11/2012
10

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Evaluatiecriteria
• De prestatie-audit vereist het vooraf vaststellen van
duidelijk geïdentificeerde en met de gecontroleerde
personen besproken evaluatiecriteria die echter
uiteenlopend zijn en aangepast aan de soort
gecontroleerde entiteit, alsook aan de geplande
procedure
• De klassieke audit verwijst naar criteria die bepaald
zijn door de wetgeving en de controlestandaarden
20/11/2012
11
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Aard en vorm van de conclusies
• Naar aanleiding van de prestatie-audit worden
verslagen opgesteld die qua vorm en inhoud
verschillen in functie van de behandelde
onderwerpen en gericht zijn op het nut en de
uitvoerbaarheid
• Naar aanleiding van de klassieke audit worden
gestandaardiseerde overzichten en verslagen
opgesteld die betrekking hebben op het getrouw
beeld van de documenten
20/11/2012
12

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Tussenkomst van de auditor
• De prestatie-audit vereist ervaren interveniënten die
open staan voor sectoren met een ruime
bevoegdheid en die betrekking hebben op de
onderzochte gebieden
• De klassieke audit vereist interveniënten met
ervaring in de boekhoudkundige en financiële sector
en in risicobeheer
20/11/2012
13
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Beheersindicatoren, boordtabellen en toepassingsgebied
• De prestatie-audit is ook gerechtvaardigd voor het bepalen
van relevante beheersindicatoren en de van materieel
belang zijnde criteria of metingsniveaus hiervoor
• Voor wat de geformuleerde aanbevelingen betreft, leidt
deze procedure ook tot een follow-up van de evaluatie op
het vlak van de doeltreffendheid en vooruitgang met
betrekking tot de uitvoering van deze aanbevelingen
• Een prestatie-audit is van toepassing op alle sectoren,
zowel de openbare als private sector en zowel de handelsals
non-profitsector
20/11/2012
14

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Conclusies
• De prestatie-audit stemt overeen met de klassieke audit
omdat het deze laatste in de meeste gevallen aanvult en
omvat
• De prestatie-audit wijkt af van de klassieke audit voor
wat verschillende aspecten en methoden betreft en
beslaat diverse gebieden, zowel op het vlak van
strategie als van management, die buiten het klassieke
toepassingsgebied van de rekeningencontrole vallen
• De prestatie-audit is van toepassing op alle sectoren
20/11/2012
15

IBR-IRE
Voorstel van een casestudie – Belgisch Rekenhof
Présentation d’un cas pratique – Cour des comptes Belgique
Presentation of a case study – Belgian Court of Audit
De heer Ignace DESOMER
Voorzitter, Rekenhof
De heer Vital PUT
Eerste-auditeur-revisor, Rekenhof
De heer Eddy VAN LOOCKE
Eerste-auditeur-revisor, Rekenhof

PERFORMANCE AUDITING
Inhoud
• Inleiding: wat is performance auditing ? plaats in een
parlementaire democratie ? hoe uitgevoerd ? werkt het ?
• Case 1: Audit ‘Verrekeningen bij het agentschap
Waterwegen & Zeekanaal’ (2012)
• Case 2: Audit ‘Maatregelen tegen de overbevolking in de
gevangenissen’ (2011)
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012
2

1. Wat is performance auditing ?
ISSAI 3100 (p. 2, 2.1) definieert performance auditing als
“an independent and objective examination of government
undertakings, systems, programmes or organisations, with regard to
one or more of the three aspects of economy, efficiency and
effectiveness, aiming to lead to improvements”
De inrichtingswet (art. 5 § 1) van het Rekenhof bepaalt:
“Het Rekenhof controleert a posteriori de goede besteding van de
rijksgelden; het vergewist zich ervan dat de beginselen van
zuinigheid, doeltreffendheid en doelmatigheid in acht worden
genomen.”
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 3
Een greep uit de (bijna 200) performance audits die tot nog toe werden
uitgevoerd door het Rekenhof (beschikbaar op: www.rekenhof.be) :
• ‘Personeelsplanning bij de Vlaamse overheid’ (2009): werd het personeelsbeleid binnen de
Vlaamse overheid aangestuurd met een adequate personeelsplanning ?
• ‘Federaal klimaatbeleid – Uitvoering van het Kyotoprotocol’ (2009): werden de voorziene
maatregelen om de klimaatdoelstellingen te bereiken correct en volledig geïmplementeerd ?
• ‘Tijdige behandeling van tegemoetkomingen aan personen met een handicap’ (2010): welke
verklaringen zijn er voor het feit dan personen met een handicap veel te lang moeten wachten
op een beslissing over hun aanvraag van een tegemoetkoming ?
• ‘Leren van buitenlandse militaire operaties’ (2010): trekt het Belgisch leger lessen uit de
buitenlandse operaties die ze uitvoert ?
• ‘Wegwerken van gevaarlijke punten en wegvakken in Vlaanderen’ (2011): slaagde de Vlaamse
overheid er in om 800 gevaarlijke punten, waar meer dan gemiddeld doden en zwaargewonden
vielen, weg te werken binnen het voorzien tijds- en budgettair kader ?
• ‘Kosteloosheid en kostenbeheersing in het basisonderwijs’ (2011): bereikt de regelgeving de
beoogde kosteloosheid voor ouders met kinderen in het basisonderwijs ?
geen uniform standaardproduct
zowel wat betreft onderwerp als invalshoek zeer gevarieerd
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 4

Mijlpalen in de evolutie van performance audit in het Rekenhof:
• Vóór 1998 : een experimenteel stadium
Er werden enkele performance audits gerealiseerd, in uitvoering van resoluties aangenomen in
het Federaal Parlement (1991) en het Vlaams Parlement (1994).
• 1998 – 2004 : geleidelijke professionalisering
• De wet van 10 maart 1998 geeft het Rekenhof het recht om performance audits uit te voeren
→ uitbouw van interne en externe opleiding, een intranet over performance auditing,
handleidingen, …
• 5 tot 6 rapporten per jaar.
• 2004 – 2009 : routinisering en expansie van performance audit
• Interne hervorming:
1) organisatiestructuur: meer specialisatie aparte directies voor financiële audit en
“thematische” audits (= performance audits + grotere wettigheidsaudits);
2) meer outputgericht, bijv. doelstellingen over het aantal performance audits.
• 15 tot 20 rapporten per jaar.
• 2010 - 2014 : consolidatie & focus op kwaliteit en competenties
De strategie 2010-2014 focust op het versterken van de kwaliteit van onze audits en een
versterking van onze competenties.
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 5
2. Welke plaats heeft (performance) auditing in een
parlementaire democratie ?
Er bestaat een
verantwoordingrelatie
tussen parlement en
burger.
Burgers kiezen
parlementsleden en deze
leggen o.m. via
verkiezingen rekenschap
af. Auditors spelen hier
geen rol, maar media,
politieke partijen …
kunnen informatie uit
auditrapporten uiteraard
wel benutten om de
burger te informeren.
Het parlement keurt de overheidsuitgaven (begroting) goed en roept de regering ter
verantwoording over de wijze waarop ze dit geld heeft besteed. Er bestaat dus een
verantwoordingsrelatie tussen regering en parlement. Dit is het werkterrein van o.m.
Rekenhoven (Supreme Audit Institutions).
Parlement
Burger/ Klant
Tot slot kunnen burgers, als klant van
publieke diensten, administraties ook
direct ter verantwoording roepen (bijv.
via klachtenprocedures, de rechtbank,
ombudsdiensten).
Regering
Administratie
Er bestaat ook een verantwoordingsrelatie
tussen administratie en regering (ministers),
en binnen de administratie zijn er ook vele
verantwoordingsrelaties (bijv. tussen
management en Raad van Bestuur, tussen
management en personeel …). Dit is het
werkterrein van o.m. interne auditdiensten.
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 6

3. Hoe wordt een performance audit uitgevoerd ?
(1)
(5)
Nazorg
Selectie van
Onderwerpen (2)
Voorstudie
(4)
Rapportering
(3)
Uitvoering van
de audit
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012
7
Belangrijkste stappen:
1 Het jaarlijkse selectieproces van onderwerpen van performance audits steunt op
een grondige monitoring van de beleidsdomeinen, de toepassing van risicoanalyse
en andere selectiecriteria (zoals toegevoegde waarde, parlementaire interesse, …)
en strategische keuzes (onderwerpen die de burger raken, …). Dit gebeurt in overleg
met interne auditdiensten om overlap te voorkomen. Soms worden ook audits
uitgevoerd op verzoek van de parlementen.
2 Voor elk onderwerp wordt een gedetailleerde voorstudie uitgewerkt waarin
onderzoeksvragen, normen, methodologie, planning … worden beschreven.
3 Tijdens de uitvoering van de audit worden de nodige data verzameld, getoetst aan
de normen om te komen tot een oordeel. Vervolgens worden verklaringen gezocht
voor de gevonden knelpunten en worden aanbevelingen geformuleerd.
4 De rapportering gebeurt in drie stappen: eerst wordt een voorontwerp van rapport
voorgelegd aan de geauditeerde administratie om de juistheid en volledigheid te
verifiëren; daarna kan de verantwoordelijke minister zijn reactie geven op een
ontwerprapport; tot slot wordt eendefinitief rapport bezorgd aan het parlement.
5 Na publicatie van het rapport volgt een nazorgfase: er wordt een persbericht
verspreid, het rapport wordt desgevraagd toegelicht in het parlement, intern
worden lessen getrokken uit de audit en de aanbevelingen worden opgevolgd.
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 8

4. Draagt performance auditing bij tot verbetering
en transparantie ?
4.1 Prestatie-indicatoren Rekenhof
• Bijdrage aan het parlementaire debat (aantal presentaties in de parlementen)
• Bijdrage aan het maatschappelijk debat (overzicht van artikelen, publicaties … naar
aanleiding van het auditrapport)
• Implementatie van aanbevelingen (opvolging via beleidsbrieven, cases in
jaarverslagen)
• Tevredenheidsenquête bij het Vlaams Parlement
4.2 Wetenschappelijk onderzoek over performance auditing in het algemeen
• Van Loocke, E., Put, V. (2010), De impact van performance auditing: “slow and subtle” ?
in: Verlet, D., Devos, C. (red.), Efficiëntie en effectiviteit van de publieke sector in de
weegschaal. Studiedienst van de Vlaamse Regering, 236 p., 187-220, p. 212
• Review van 14 bestaande studies over performance auditing in verschillende landen
• Impact van performance auditing: een globaal positief, maar gemengd beeld
- soms directe en zichtbare impact (bijv. implementatie aanbevelingen);
- soms langzaam maar zekere impact (bijv. ideeën die geleidelijk doorsijpelen);
- soms geen duidelijke impact.
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012
9
Factoren die bepalend zijn voor de
impact:
• Goede communicatie tussen
auditor en geauditeerde
• Relevante auditbevindingen en
realistische aanbevelingen, die
aansluiten bij de prioriteiten van de
geauditeerde
• Een goede relatie tussen Rekenhof
en parlement en druk vanuit dit
parlement
• Media-aandacht
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 10

4.3 Transparency international (http://www.transparency.org)
Het Europese rapport
Money, Politics, Power: Corruption
Risks in Europe, 2012, 59 p.
“Across the region, supreme audit institutions appear
among the strongest institutions. The national
assessments find that audit institutions in Europe are
well-resourced and seen as independent.”
Het Belgische rapport:
Transparency International Belgium
(2012), Evaluatie van het Nationale
Integriteitssysteem België, 307 p.
“Het Rekenhof kan zijn taken in de praktijk op een
onafhankelijke en professionele manier uitvoeren. Het
zou misschien wel kunnen voorkomen dat politici de
activiteiten van het Rekenhof trachten te
beïnvloeden, maar dat betekent uiteraard nog niet
dat zich dat ook daadwerkelijk zou vertalen in de
auditrapporten. Respondent Bouckaert wijst erop dat
er in elk geval wel auditverslagen zijn waarvan de
inhoud volledig ingaat tegen de mening van de
regering.”
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012
11
Meer informatie over performance auditing in het Rekenhof:
• Desomer, I. (2010), Overheidsaudit door het Rekenhof – Naar een beter presteren en
functioneren van de publieke sector, Audit, Control & Governance, Nr. 17, Jg. 13, weken 39
en 40, 8 p.
• Desomer, I., Van Loocke, E. (2010), Performance audit van het Rekenhof: bijdrage tot een
efficiënte en effectieve overheid ? VTOM, nr. 1, p. 41-48
• Put, V. (2011), Performance auditing in de publieke sector. Een blik achter de schermen
van het Rekenhof, Audit, Control & Governance, jg. 14, nr. 13, weken 25 en 26, 10 p.
• Put, V., Turksema, R. (2011), Selection of performance audits topics by Supreme Audit
Institutions, in: Lonsdale, J., Wilkins, P., Ling, T. (eds.), Performance Auditing:
Contributing to Accountability in Democratic Government, Edward Elgar, 368 p., p. 51-74
• Van Loocke, E. (2006), Normen in performance audit bij het Belgische Rekenhof, Vlaams
Tijdschrift voor Overheidsmanagement, 28-35
• Van Loocke, E., Put, V. (2010), De impact van performance auditing: “slow and subtle” ? in:
Verlet, D., Devos, C. (red.), Efficiëntie en effectiviteit van de publieke sector in de
weegschaal. Studiedienst van de Vlaamse Regering, 236 p., 187-220
• Website van het Rekenhof: www.rekenhof.be
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 12

Verrekeningen bij
het agentschap
Waterwegen en
Zeekanaal
-Kostenbeheersing bij de
aanneming van waterwerken –
-(Juli 2012)
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012
13
Audit
• Verrekening = overeenkomst (tussen aannemer en bestuur) bij
wijziging van de aanneming tijdens de uitvoering ervan
vaststellen van nieuwe hoeveelheid en prijs.
Meerwerken worden vaak uitgevoerd middels buiten mededinging
tot stand gekomen prijzen.
• Rekenhof heeft nagegaan of W&Z ervoor zorgt dat verrekeningen
binnen aanvaardbare grenzen blijven en op zorgvuldige wijze
worden afgehandeld.
• Werken opgeleverd in 2009-2010
− 261 aannemingen
− 102,6 miljoen euro initieel inschrijvingsbedrag
− 10,4 miljoen euro (= 10,1%) verrekeningen
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 14

1. Oorzaken van verrekeningen in meer
• Selectie van 26 aannemingsdossiers met omvangrijke verrekeningen
(> 15 % in meer t.o.v. de initiële aannemingssom)
• Gebrekkige voorbereiding door W&Z
− onzorgvuldig doorgevoerd grondonderzoek
− onzorgvuldige opmaak van bestekken
− gebrekkige technische voorstudie
− laattijdig aanvragen stedenbouwkundige vergunning
− laattijdige onteigening
− laattijdig opstarten van een gunningsprocedure
• Dikwijls vermijdbare oorzaken potentieel voor verbetering
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 15
2. Inbreuken op regelgeving
overheidsopdrachten
o.a.:
• Aanzienlijke uitbreiding (meerwerken tot 214%) = nieuwe aanneming
= inbreuk op de basisprincipes van gelijkheid en mededinging
(rechtspraak Europees Hof van Justitie, met zgn. Pressetextarrest als
mijlpaal)
• Onderhandse opdrachten vermomd als verrekening
• Speculatieve prijzen
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 16

3. Verwijlinteresten
• Bijna 1 miljoen euro voor alle in 2009 en 2010 opgeleverde
aannemingen (waarvan 73 % voor rekening van de 26 aannemingen
met de grootste verrekeningen)
• Te wijten aan lange doorlooptijd voor de afhandeling van de
verrekening, in hoofdzaak door discussies tussen agentschap en
aannemers over overeen te komen prijzen voor niet in het bestek
opgenomen werken.
• Hoewel W&Z in 2006 een dienstorder heeft uitgevaardigd om
betalingsachterstanden te voorkomen en verwijlinteresten te
beperken (bijv. niet betwiste deel reeds uitbetalen), is bij
dossiercontrole gebleken dat bij de afhandeling van
verrekeningendossiers de voorgeschreven instructies niet voldoende
worden toegepast.
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 17
4. Rapporterings- en beleidsinstrumenten
• Instructies, procedures en opvolgingssystemen voor verrekeningen
aanwezig
• In de praktijk te weinig benut
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 18

Impact (1): reactie van de minister
Vlaamse minister van Mobiliteit en Openbare Werken
• aanvaardde conclusies en aanbevelingen
• vermeldde enkele bijkomende initiatieven
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 19
Impact (2): aandacht van de media
o.a.
03/08/2012 De Tijd Miljoenenverspilling bij Waterwegen en
Zeekanaal
04/08/2012 De Tijd Waterwegen en Zeekanaal weerlegt kritiek
04/08/2012 Het Laatste Nieuws Miljoenen verspild bij werken aan bruggen
en rivieren
04/08/2012 De Morgen Waterwegen en Zeekanaal maakt rekenfout
van tien miljoen euro
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 20

Impact (3) : bespreking in parlement
• Besproken in het Vlaams Parlement op 25 oktober 2012 (Commissie voor
Mobiliteit en Openbare Werken, Handelingen, C28-OPE3, 2012-2013).
• Zowel Minister als leidend ambtenaar bevestigen dat zij de aanbevelingen ter
harte nemen en beschrijven een aantal acties die worden gepland of reeds
lopende zijn.
• Uit bespreking blijkt ook dat de impact van deze audit ruimer zal zijn dan een
directe impact bij de geauditeerde:
• Er wordt gewerkt aan een omzendbrief, voor het volledige beleidsdomein MOW, waarin de
Europese rechtspraak wordt geïmplementeerd over wijzigingen die mogelijk zijn tijdens de
uitvoering van een overheidsopdracht.
• Andere entiteiten bezig met waterwerken trekken ook al lessen uit deze audit: de
Scheepvaart heeft ‘naar aanleiding van de audit van Waterwegen en Zeekanaal ondertussen
een analyse van de verrekeningen op de in 2010 en in 2011 afgesloten aannemingen laten
uitvoeren. … Een gewaarschuwd man is er twee waard. Op die manier anticiperen ze nu al op
een onderzoek dat nog moet plaatsvinden.”
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 21
Maatregelen tegen de
overbevolking in de
gevangenissen
(December 2011)
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012
22

Waarom deze audit?
• Overbevolking in gevangenissen is een hardnekkig
beleidsprobleem:
Het hindert een volwaardig penitentiair beleid
Inhumaan voor gevangenen en moeilijke
werkomstandigheden voor personeel
Nadelig voor image België
• Beleidsmaatregelen schijnen niets uit te halen
• Maatregelen kosten veel geld (hoeveel?)
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 23
Wat deed het Rekenhof?
Zeven beleidsmaatregelen toetsen aan vier onderzoeksvragen
1. Verminderde toepassing van
voorlopige hechtenis
2. Werkstraf
3. Elektronisch toezicht
4. Masterplan gevangenissen
5. Alternatieve opvang
geïnterneerden
6. Straf uitzitten in land van
herkomst
7. Vervroegde
invrijheidsstelling
1. Is de maatregel degelijk
onderbouwd en uitgewerkt?
2. Wordt de beleidsuitvoering
resultaatgericht
aangestuurd?
3. In welke mate worden de
maatregelen uitgevoerd?
4. Is er inzicht in de uitvoering
en de effecten van de
maatregel?
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 24

Is beleid/maatregel goed onderbouwd?
• Nieuwe wetgeving steunt op inbreng deskundigen
• Volwaardige ex-ante analyses of impactanalyses
ontbreken.
Bv. Masterplan: geen nulmeting, toestand huidige gevangenissen?,
kosten?, keuze voor sterk beveiligde gevangenissen?
• Ontbrekende randvoorwaarden voor onderbouwd beleid
Geen globaal, geïntegreerd, beleidsplan voor aanpak van het
probleem (wel aanzetten daartoe)
Kwantitatieve gegevens ontbreken
Begrip capaciteit is niet duidelijk omschreven
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 25
Aansturing beleid en beleidsuitvoering
• Complexe materie: vergt overleg binnen Justitie, tussen FOD’s, tussen
de machten, tussen beleidsniveaus
Overleg vaak ad hoc of onbestaande (bv. justitie/ volksgezondheid
voor internering).
Wettelijke overlegstructuren (2009/2010) nog in opstartfase.
• Wetten zijn niet of onvolledig in werking gesteld of uitgevoerd
doelstellingen komen daardoor in het gedrang
Randvoorwaarden zijn niet vervuld (personeel en
werkingsmiddelen, nieuwe gevangenissen/FPC, budgettaire
ruimte)
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 26

Uitvoering door administratie
• Globaal genomen is er een correcte
beleidsuitvoering door de FOD Justitie
• Kwantitatief worden doelen benaderd – soms
tekort aan personeel en werkingsmiddelen
• Zowel bij Justitie als bij de Regie der Gebouwen
lopen initiatieven om beheer te optimaliseren (bv.
geïnformatiseerde detentieplanning)
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 27
Inzicht in prestaties en effecten
• Monitoring
Operationele aspecten worden opgevolgd (bv.
aantallen enkelbanden, toegekende werkstraffen,…)
• Evaluatie
Effect op overbevolking van maatregelen wordt niet
opgevolgd (ex post onderzoek)
Weinig onderzoek naar determinerende fenomenen
zoals straftoemeting of recidive
Percepties in plaats van feiten; bv. voorlopige hechtenis
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 28

Overbevolking geraakt niet opgelost: weinig
effectief beleid?
• Onvoldoende statistische gegevens om effect
maatregelen afdoende te beoordelen
• Vaststellingen per maatregel:
Vervroegde invrijheidsstelling heeft groot effect
Zonder alternatieve straffen, zoals werkstraf,nog
meer overbevolking?
Masterplan zal effect hebben; in gunstige
hypothese van stabilisatie bevolking nog ruim 900
plaatsen tekort
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 29
Reacties op verslag
• Veel en langdurige aandacht in media
• Bespreking in de Commissie voor Justitie van de
Kamer (consensus over nood aan feitengegevens)
• Audit is uitgevoerd in periode van lopende zaken:
Reactie minister was beperkt tot toelichting bij
zijn beleid
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 30

Dank u voor uw aandacht
meer over het Rekenhof
www.rekenhof.be
www.courdescomptes.be
Rekenhof, Studiedag prestatie-audit IBR, 22 november 2012 31

PERFORMANCE AUDITING
Table des matières
• Introduction : qu’entend-on par audit de performance ? sa
place dans une démocratie parlementaire? sa mise en
oeuvre ? son efficacité ?
• Cas 1 : Audit ‘Décomptes liquidés par l’Agence flamande
des voies d’eau’ (2012)
• Cas 2 : Audit ‘Mesures de lutte contre la surpopulation
carcérale’ (2011)
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
2

1. Qu’est-ce que l’audit de performance ?
• L’ISSAI 3100 (p. 2, 2.1) définit l’audit de performance comme suit :
“l’examen indépendant et objectif des entreprises, systèmes,
programmes ou organisations du secteur public, sous l'angle de l’un
ou plusieurs des trois aspects que sont l’économie, l’efficience et
l’efficacité, dans la perspective de réaliser des améliorations”.
La loi organique de la Cour des comptes (art. 5, § 1 er ) précise :
“La Cour des comptes contrôle a posteriori le bon emploi des deniers
publics ; elle s'assure du respect des principes d'économie, d'efficacité
et d'efficience.”
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 3
Quelques exemples d’audits de performance parmi les près de 200 réalisés à
ce jour par la Cour des comptes (disponibles sur: www.courdescomptes.be) :
• ‘Planification du personnel des autorités flamandes’ (2009) : la politique du personnel des
autorités flamandes a-t-elle été mise en œuvre sur la base de plans de personnel adéquats ?
• ‘Politique climatique fédérale - Mise en œuvre du protocole de Kyoto’ (2009) : les mesures
climatiques prévues ont-elles été mises en œuvre correctement et intégralement ?
• ‘Respect des délais de traitement des allocations octroyées aux personnes handicapées’ (2010) :
pourquoi les demandes d’intervention émanant de personnes handicapées sont-elles
fréquemment traitées avec retard ?
• ‘Tirer des enseignements des opérations militaires à l'étranger’ (2010) : l’armée belge met-elle à
profit les évaluations de ses opérations à l’étranger ?
• ‘Élimination des points et tronçons de circulation dangereux en Flandre’ (2011) : les autorités
flamandes sont-elles parvenues à éliminer, dans le cadre budgétaire et dans le délai prévus, 800
points dangereux, où la proportion de personnes grièvement blessées ou mortes dans un
accident de la circulation était plus élevée que la moyenne ?
• ‘La gratuité et la maîtrise des coûts dans l'enseignement fondamental’ (2011) : La réglementation
relative à la gratuité de l’enseignement fondamental a-t-elle produit les effets visés?
pas de produit uniforme, standardisé
grande variété de sujets et d’approches
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 4

Jalons de l’évolution de l’audit de performance à la Cour des comptes :
• Avant 1998 : stade expérimental
Quelques audits de performance ont été réalisés, en application de résolutions adoptées par le
Parlement fédéral (1991) et le Parlement flamand (1994).
• 1998 – 2004 : professionnalisation progressive
• La loi du 10 mars 1998 habilite la Cour des comptes à réaliser des audits de performance →
organisation d’une formation interne et externe, réalisation d’un intranet et de manuels à ce sujet, …
• 5 à 6 rapports par an.
• 2004 – 2009 : généralisation et expansion de l’audit de performance
•Réforme interne :
1) structure organisationnelle : spécialisation accrue directions distinctes pour l’audit financier et
les audits “thématiques” (= audits de performance + audits de légalité de grande ampleur) ;
2) axée sur les produits, en fixant par exemple des objectifs en matière de nombre d’audits de
performance à réaliser.
• 15 à 20 rapports par an.
• 2010 - 2014 : consolidation et accent mis sur la qualité et les compétences
La stratégie 2010-2014 se concentre sur le renforcement de la qualité des audits et de nos
compétences.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 5
2. Quelle place occupe l’audit (de performance)
dans une démocratie parlementaire ?
Relation de justification
entre le Parlement et le
citoyen.
Les citoyens élisent les
parlementaires, qui
rendent compte de leur
action, notamment par le
biais des élections. Les
auditeurs ne jouent
aucun rôle à ce niveau,
mais les médias , les
partis politiques,…
peuvent puiser des
informations dans les
rapports d’audit dans le
but d’informer les
citoyens.
Le Parlement adopte les dépenses publiques (budget) et demande au gouvernement de
rendre compte sur la manière dont les fonds ont été dépensés. Il s’agit donc d’une
relation de justification entre le gouvernement et le Parlement. C’est le domaine
d’activité notamment des Cours des comptes (institutions supérieures de contrôle).
Parlement
Citoyen/client
Enfin ,les citoyens, en tant qu’usagers
des services publics, peuvent
également interpeller directement les
administrations (par le biais des
procédures de plainte, des tribunaux,
des services de médiation).
Gouvernement
Administration
Relation de justification entre l’administration
et le gouvernement (ministres), ainsi qu’au
sein de l’administration (par exemple, entre le
management et le conseil d’administration, le
management et le personnel …).C’est le
domaine d’activité notamment des services
d’audit interne.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 6

3. Comment réaliser un audit de performance ?
(5)
Suivi
(1)
Sélection des thèmes
(2)
Étude préliminaire
(4)
Reporting
(3)
Exécution de l’audit
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
7
Étapes principales :
1 Le processus annuel de sélection des thèmes d’audits de performance s’appuie sur un
monitoring approfondi des domaines politiques, sur la réalisation d’une analyse de risques et
l’application d’autres critères de sélection (tels que valeur ajoutée, intérêt parlementaire, …) et
sur des choix stratégiques (thèmes concernant le citoyen, …). La sélection est effectuée en
concertation avec les services d’audit interne afin d’éviter les doubles emplois. Certains audits
sont en outre réalisés à la demande des parlements.
2 Pour chaque thème d’audit, une étude préliminaire détaillée est réalisée, qui précise les
questions d’audit, les normes, la méthode et le calendrier suivis.
3 Pendant la phase d’exécution de l’audit, les informations nécessaires sont collectées et
vérifiées à l’aune des normes pour aboutir à une opinion. On recherche ensuite une explication
pour les problèmes relevés et des recommandations sont formulées.
4 Le reporting compte trois étapes : l’avant-projet de rapport est transmis à l’administration
auditée pour en vérifier l’exactitude et l’exhaustivité ; le ministre de tutelle a ensuite l’occasion
de réagir au projet de rapport ; enfin, le rapport définitif est soumis au parlement.
5 Après publication du rapport intervient une phase de suivi : diffusion d’un communiqué de
presse, explications éventuelles au parlement, enseignements tirés de l’audit au niveau
interne et suivi des recommandations.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
8

4. L’audit de performance est-il un facteur
d’amélioration et de transparence ?
4.1 Indicateurs de prestations de la Cour des comptes
• Contribution au débat parlementaire (nombre de présentations aux parlements)
• Contribution au débat sociétal (relevé des articles, publications … suscités par le
rapport d’audit)
• Mise en œuvre des recommandations (suivi assuré par le biais des notes de politique
générale, cas cités dans des rapports annuels)
• Enquête de satisfaction réalisée auprès du Parlement flamand
4.2 Études scientifiques consacrées à l’audit de performance en général
• Van Loocke, E., Put, V. (2010), De impact van performance auditing: “slow and subtle” ?
dans : Verlet, D., Devos, C. (red.), Efficiëntie en effectiviteit van de publieke sector in de
weegschaal. Studiedienst van de Vlaamse Regering, 236 p., 187-220, p. 212
• Recension de 14 études d’audit de performance réalisées dans différents pays
• Impact de l’audit de performance : globalement positif, mais image nuancée :
- impact parfois direct et visible (ex. réalisation des recommandations ) ;
- impact parfois lent mais sûr (ex. idées qui se propagent peu à peu) ;
- parfois sans impact clair.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
9
Facteurs décisifs pour la mesure
de l’impact :
• Bonne communication entre
l’auditeur et l’audité
• Constatations d’audit pertinentes
et réalistes, rejoignant les priorités
de l’audité
• Bonne relation entre la Cour des
comptes et le parlement et
pression exercée par ce dernier
• Attention des médias
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 10

4.3 Transparency international (http://www.transparency.org)
Rapport européen
Money, Politics, Power: Corruption
Risks in Europe, 2012, 59 p.
Rapport sur la Belgique :
Transparency International Belgium
(2012), Évaluation du système national
d’intégrité – Belgique, 307 p.
“Across the region, supreme audit institutions appear
among the strongest institutions. The national
assessments find that audit institutions in Europe are
well-resourced and seen as independent.”
“Dans la pratique, la Cour des comptes arrive à
remplir sa mission en toute indépendance et avec
professionnalisme. S’il est certes possible que des
politiques tentent d’influencer ses activités, cela ne
signifie pas pour autant que cette possible
ingérence se traduirait dans les rapports d’audit.
Bouckaert, notre répondant à ce sujet, souligne que
le contenu de certains rapports d’audit est en tous
cas en contradiction flagrante avec l’avis du
gouvernement.”
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
11
Informations complémentaires sur les audits de
performance réalisés par la Cour des comptes :
• Desomer, I. (2010), Overheidsaudit door het Rekenhof – Naar een beter presteren en
functioneren van de publieke sector, Audit, Control & Governance, Nr. 17, Jg. 13, weken 39
en 40, 8 p.
• Desomer, I., Van Loocke, E. (2010), Performance audit van het Rekenhof: bijdrage tot een
efficiënte en effectieve overheid ? VTOM, nr. 1, p. 41-48
• Put, V. (2011), Performance auditing in de publieke sector. Een blik achter de schermen
van het Rekenhof, Audit, Control & Governance, jg. 14, nr. 13, weken 25 en 26, 10 p.
• Put, V., Turksema, R. (2011), Selection of performance audits topics by Supreme Audit
Institutions, in: Lonsdale, J., Wilkins, P., Ling, T. (eds.), Performance Auditing:
Contributing to Accountability in Democratic Government, Edward Elgar, 368 p., p. 51-74
• Van Loocke, E. (2006), Normen in performance audit bij het Belgische Rekenhof, Vlaams
Tijdschrift voor Overheidsmanagement, 28-35
• Van Loocke, E., Put, V. (2010), De impact van performance auditing: “slow and subtle” ? in:
Verlet, D., Devos, C. (red.), Efficiëntie en effectiviteit van de publieke sector in de
weegschaal. Studiedienst van de Vlaamse Regering, 236 p., 187-220
• Site internet de la Cour des comptes : www.courdescomptes.be
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 12

Décomptes liquidés
par l’Agence
flamande des voies
d’eau (Waterwegen
en Zeekanaal)
-Maîtrise des coûts des
marchés publics de travaux–
-(Juillet 2012)
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
13
Audit
• Décompte = accord (conclu entre l’entrepreneur et
l’administration) en cas de modification du marché en cours
d’exécution fixation de nouvelles quantités et nouveaux prix.
Les travaux supplémentaires sont souvent effectués sur la base de
prix échappant à toute mise en concurrence.
• La Cour des comptes a vérifié si l’Agence W&Z veille à maintenir
les décomptes dans des limites acceptables et si elle s’en acquitte
de manière correcte.
• Travaux réceptionnés en 2009-2010
− 261 marchés de travaux
− 102,6 millions d’euros : montant initial de la soumission
− 10,4 millions d’euros (= 10,1%) de décomptes
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
14

1. Origine des décomptes
• Sélection de 26 dossiers de travaux impliquant d’importants
décomptes (> 15 % de plus que le montant initial de la soumission)
• Lacunes dans la préparation des marchés par l’Agence W&Z
− manque de qualité des études de terrain
− élaboration peu soignée des cahiers des charges
− faiblesses de l’étude technique préliminaire
− introduction tardive d’une demande de permis d’urbanisme
− lenteur des expropriations
− retard enregistré dans le lancement d’une procédure d’attribution
• Causes souvent évitables potentiel d’amélioration
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 15
2. Infractions à la réglementation sur les
marchés publics
notamment :
• Extension considérable (travaux supplémentaires jusqu’à 214% du
marché initial) = nouveau marché = contraire aux principes
fondamentaux d’égalité et de concurrence (jurisprudence de la Cour
européenne de justice, texte de référence : arrêt Pressetext)
• Marchés de gré à gré présentés sous la forme de décomptes
• Prix spéculatifs
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 16

3. Intérêts de retard
• Près d’un million d’euros pour tous les travaux réceptionnés en 2009 et
2010 (dont 73 % dans le cadre des 26 dossiers de travaux impliquant
les décomptes les plus importants)
• Imputables au long délai de traitement du décompte, principalement
dû aux discussions entre l’Agence et les entrepreneurs sur les prix à
convenir pour des travaux non compris dans le cahier des charges
• En dépit d’un ordre de service édicté en 2006 par l’Agence W&Z visant
à prévenir les retards de paiement et à limiter les intérêts (en payant
par exemple la partie non contestée du montant), la vérification des
dossiers a montré que les instructions ne sont pas suffisamment
respectées lors du traitement des dossiers de décomptes.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 17
4. Instruments de reporting et de
gestion
• Les instructions, procédures et systèmes de suivi des décomptes
existent.
• En pratique, ils sont trop peu utilisés.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 18

Impact (1) : réaction de la ministre
La ministre flamande de la Mobilité et des Travaux publics
• s’est ralliée aux conclusions et recommandations de la Cour ;
• a mentionné quelques initiatives supplémentaires.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 19
Impact (2) : intérêt de la part des médias
notamment
03/08/2012 De Tijd Miljoenenverspilling bij Waterwegen en
Zeekanaal
04/08/2012 De Tijd Waterwegen en Zeekanaal weerlegt kritiek
04/08/2012 Het Laatste Nieuws Miljoenen verspild bij werken aan bruggen
en rivieren
04/08/2012 De Morgen Waterwegen en Zeekanaal maakt rekenfout
van tien miljoen euro
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 20

Impact (3) : discussion au Parlement
• Rapport examiné par le Parlement flamand le 25 octobre 2012 (Commission
Mobilité et Travaux publics, Annales, C28-OPE3, 2012-2013).
• La ministre et le fonctionnaire dirigeant déclarent leur intention de respecter
les recommandations et décrivent des actions planifiées ou en cours.
• La discussion montre aussi que cet audit aura un impact pour d’autres entités
que l’agence auditée :
• Une circulaire sera élaborée pour l’ensemble du domaine politique Mobilité et Travaux
publics en vue de mettre en œuvre la jurisprudence européenne relative aux modifications
pouvant être apportées en cours d’exécution d’un marché public.
• D’autres entités responsables des voies navigables tirent également des enseignements de
cet audit : l’Office de la navigation a “fait réaliser à la suite de l’audit de l’Agence W&Z une
analyse des décomptes des marchés de travaux clôturés en 2010 et en 2011. … Un homme
averti en vaut deux. L’Office anticipe ainsi un examen encore à effectuer.” (traduction)
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 21
Mesures de lutte contre la
surpopulation carcérale
(Décembre 2011)
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012
22

Justification de l’audit
• La surpopulation carcérale est un problème politique
persistant :
Elle entrave la mise en œuvre d’une bonne politique
pénitentiaire
Elle génère des conditions de vie inhumaines pour les
détenus et un mauvais environnement de travail pour le
personnel
Elle nuit à l’image de la Belgique
• Les mesures politiques semblent n’avoir aucun effet
• Elles ont un impact budgétaire important (combien ?)
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 23
Action de la Cour des comptes :
Sept mesures politiques soumises à quatre questions d’audit
1. Diminution de l’application
de la détention préventive
2. Peine de travail
3. Surveillance électronique
4. Masterplan pour
l’infrastructure pénitentiaire
5. Approche alternative pour
les internés
6. Exécution de la peine dans le
pays d’origine
7. Libération anticipée
1. La mesure est-elle correctement
étayée et aboutie ?
2. La mise en œuvre de la politique
est-elle pilotée selon une
approche axée sur les résultats?
3. Quel est le degré de mise en
œuvre de la mesure ?
4. L’administration a-t-elle une idée
de la mise en œuvre et des effets
de la mesure ?
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 24

La politique/mesure est-elle bien étayée?
• La nouvelle législation s’appuie sur la contribution d’experts.
• Des évaluations ex ante ou des analyses d’impact à part entière
font défaut.
Ex. Masterplan : aucune mesure zéro, situation des prisons actuelles ?,
coûts ?, choix de prisons hautement sécurisées ?
• Les conditions d’une politique étayée ne sont pas réunies :
Absence de plan politique global d’approche de la surpopulation
carcérale (il en existe cependant des ébauches)
Manque de données quantitatives
Pas de définition claire de la notion de capacité
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 25
Pilotage et exécution de la politique
• Matière complexe, qui requiert une concertation au sein de la Justice,
entre SPF, entre les pouvoirs et entre niveaux de pouvoir
Concertation souvent au cas par cas ou inexistante (ex.
Justice/Santé publique en matière d’internement).
Structures de concertation légales (2009/2010) qui doivent encore
être rôdées.
• Les lois sont insuffisamment appliquées ou exécutées, voire pas du
tout.
Les objectifs visés sont ainsi mis en péril.
Les conditions de base ne sont pas remplies (personnel et moyens
de fonctionnement, nouvelles prisons ou CPL, marge budgétaire)
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 26

Mise en œuvre par l’administration
• Globalement, la mise en œuvre de la politique par
le SPF Justice est correcte.
• Du point de vue quantitatif, on s’approche des
objectifs – il existe parfois un déficit en personnel
et en moyens de fonctionnement.
• Des initiatives ont été prises à la Justice et à la
Régie des bâtiments pour optimiser la gestion (ex.
planification informatisée de la détention).
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 27
Idée précise des prestations et des effets
• Monitoring
Les aspects opérationnels font l’objet d’un suivi (ex. nombre de
bracelets électroniques, de peines de travail infligées, …).
• Évaluation
Les effets des mesures sur la surpopulation ne font pas l’objet d’un
suivi (évaluation ex post).
Les facteurs déterminants tels que la fixation de la peine ou la
récidive sont peu examinés.
On se base sur des perceptions plus que sur des faits, p. ex. en
matière de détention préventive.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 28

La surpopulation demeure un problème structurel.
La politique manque-t-elle d’efficacité ?
• Statistiques insuffisantes pour évaluer
correctement l’effet des mesures.
• Constatations par mesure :
Effet important de la libération anticipée.
Sans peines alternatives comme la peine de travail,
la surpopulation serait-elle accrue ?
Le Masterplan aura un effet ; selon l’hypothèse
favorable d’une stabilisation de la population
carcérale, il manquera encore plus de 900 places.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 29
Réactions au rapport
• Intérêt important et persistant de la part des médias.
• Discussion en commission de la Justice de la Chambre
(consensus sur le besoin de données factuelles).
• L’audit a été exécuté en période d’affaires courantes : la
réaction de la ministre s’est limitée à un commentaire de la
politique qu’elle avait menée.
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 30

Merci pour votre attention
plus d’informations sur
la Cour des comptes
www.rekenhof.be
www.courdescomptes.be
Cour des comptes, Journée d’étude audit de performance IRE, 22 novembre 2012 31

IBR-IRE
Auditing Government Activities in relation to the Crisis in the Danish
Financial Sector
Mrs Bettina JAKOBSEN
Deputy Auditor General, Danish Court of Auditors
Mr Mads Nyholm JACOBSEN
Director, Danish Court of Auditors

Auditing Government Activities in
relation to the Financial Crises in DK
Director Mads Nyholm Jacobsen, Rigsrevisionen
Agenda
• The State audit system in DK
• Facts about the financial crises in DK
• Completed examinations
• Questions?
2

Our Mission
“Rigsrevisionen audits the government accounts
on behalf of the Danish parliament and supports the
development of efficient administration in order to
create maximum value for the citizens”
3
The Danish State Audit System
The Parliament
The Finance Committee
Political Committees
The Public Accounts
Committee
Rigsrevisionen
Auditor General
4

The Public Accounts Committee
• The Public Accounts Committee consists of 6 members appointed by
the Parliament
• The tasks and authority of the Public Accounts Committee are
described in the Constitution and in the Act on the Public Accounts
Committee
• 11 meetings per year
• The Public Accounts Committee
• comments on the reports presented by Rigsrevisionen
• requests that Rigsrevisionen carries out certain examinations
5
The Auditor General
• The Auditor General is appointed by the Speaker of the Parliament after
being nominated by the Public Accounts Committee
• The Auditor General is independent in the performance of her duties
• The Auditor General is responsible for auditing the state accounts
• The Auditor General’s tasks and authority are stipulated in the Auditor
General’s Act
6

The Audit Tasks of Rigsrevisionen
• Rigsrevisionen audits:
• the state accounts
• accounts of government financed activities, including
EU-funded activities
• Rigsrevisionen does not audit:
• the National Bank
• the Parliament
7
The Audit Tasks of Rigsrevisionen
Financial audit Compliance audit Performance audit
Annual audit
Major examinations
8

Performance Audit
• Economy: Refers to whether an institution has procured goods and
services in the most cost-effective manner
• Efficiency: Refers to the relationship between inputs and outputs
• Effectiveness: Refers to the relationship between the objectives set
and the outcomes
9
Major Examinations
• Has the audited entity provided the services decided by the Parliament?
• Cases of principle or financial significance that the Public Accounts
Committee should be informed about
• 15 to 20 major examination reports per year
10

Reporting and Follow-up
Rigsrevisionen
Report of
the Auditor General
The Auditor General’s
commentary to the
response of the minister
Response of
the minister
Public Accounts
Committee
Response of the minister
Report of Public Accounts Committee
Ministries
Report of Public
Accounts Committee
The results of the contradictory
procedure in Public Accounts
Committee’s final report on state accounts
The Parliament
11
Authorities of Rigsrevisionen
• Rigsrevisionen is entitled to get access to all information and data
considered to be of importance for an audit
• Rigsrevisionen is entitled to carry out on-the-spot audits
• Rigsrevisionen is independent in its choice of audit subject and
approach
12

The Crises in the Financial Sector –
milestones I
• July 2008: Roskilde Bank approaches the Financial Supervision
Authority (FSA) to find a solution to the financial situation in the bank
• The National Bank of DK takes over Roskilde Bank for the purpose of
winding-up the bank with a state guarantee
• October 2008: The Financial Stability Company is established, as part
of the Stability Package (the first of five support packages for the
financial sector)
13
The Crises in the Financial Sector –
milestones II
• Reduction in the number of banks (approximately 130 -> 100 banks)
due to:
• Merger agreements between banks
• Winding-up in the setting of the Financial Stability Company
• A total of five support packages 2008-2012: the Stability Package, the
Credit Package, the Resolution Package, the Consolidation Package
and the Development Package
14

Completed Major Examinations
• Report on the Financial Supervision Authority’s (FSA) activities relating
to Roskilde Bank (June 2009)
• Report on the issue of an individual government guarantee to
Amagerbanken (October 2011)
• Report on the Financial Stability Company (May 2012)
15
The FSA’s Activities Related to Roskilde
Bank – the Scope
• Did the FSA carry out a risk-based supervision of banks?
• How had the FSA supervised Roskilde Bank?
• Were the measures taken in relation to Roskilde Bank appropriate?
• Were the framework for the FSA’s activities appropriate?
16

The FSA’s Activities Related to Roskilde
Bank – Findings
• The FSA carried a satisfactory risk-based supervision of the bank and
supervised the bank according to the relevant guidelines
• The FSA was aware of the problems in the bank but failed to conduct a
systematic follow-up on instructions and risk factors
• The FSA ought to have intensified the follow-up
17
The Individual Government Guarantee
Issued to Amagerbanken - the Scope
• Did Amagerbanken comply with the statutory solvency requirement and
did the FSA’s inspection in this respect uncover the financial condition
of the bank?
• Was the issue of the individual government guarantee by the Financial
Stability Company a sound decision?
• Did the normalized credit policy provide basis for the assessment of the
risks facing the bank?
18

The Individual Government Guarantee
Issued to Amagerbanken – Main
Findings
• Business methods pursued by the bank were generally very risky, and
the Financial Stability Company concluded that the financial difficulties
of the bank were so severe that the bank might not meet the statutory
requirements
• The FSA assessed that the bank complied with statutory solvency
requirements
• The bank received individual government guarantee on the most
rigorous terms ever laid down
• The new management of the bank assessed the exposures and
identified a need for additional write downs
19
The Financial Stability Company (FSC) -
the Scope
• Has the FSC taken over distressed banks in a satisfactory manner?
• Is the FSC ensuring that the interest terms offered to the customers are
determined in compliance with legislative requirements?
• Is the FSC winding up all activities of the taken over banks in a
satisfactory manner?
• Is the FSC managed economically?
20

The Financial Stability Company (FSC) –
Main Findings
• The FSC has taken over and winded-up distressed banks in a
satisfactory manner
• The FSC should operationalize the requirement for fast winding-up to
ensure progress and transparency
• The FSC should take action to implement the announced interest rates
on loans to the widest possible extent
• The FSC should re-negotiate the salary of the managing director and
the board of directors to ensure that the salaries and the remunerations
are in compliance with the guidelines
21

IBR-IRE
Voorstel van een casestudie - Europees Rekenhof
Présentation d’un cas pratique - Cour des Comptes européenne
Presentation of a case study - European Court of Auditors
Mr Igors LUDBORŽS
Member, European Court of Auditors, Dean of the CEAD Chamber

Dr Igors Ludboržs
Member of the European Court of Auditors (ECA)
Study day
“The performance audit in the public and not-for-profit sector”
Brussels, 22 November 2012
Stipulated by the Protocol of the Statute of
the European System of Central Banks and of
the ECB which states:
“The provisions of Article 287 of the Treaty
on the Functioning of the European Union
shall only apply to an examination of the
operational efficiency of the management of
the ECB”.

Annual task;
Topics selected based on:
◦ results of previous audits;
◦ assessment of value-added of proposed audit
task;
◦ availability of audit staff with appropriate
skills and knowledge;
◦ other considerations.
2011: The new ECB premises project;
2010: Risk management of the ECB;
2009: The management of human resources
at the ECB;
2008: The systems and procedures
established by the ECB for managing its
Business Areas' activities;
2007: ECB’s management of IT projects;

2006: The operational efficiency of the ECB’s
budgetary management;
2005: The new ECB premises project;
2004: The efficiency of human resources
policy at the ECB;
2003: The decision-implementation process
and the reliability of data processed by the IT
system for financial and management
accounting.
To assess the adequacy of the ECB’s
operational and financial risk management
framework.

Did the ECB establish an appropriate and
comprehensive governance framework for
risk management?
Did the ECB manage its operational risks in
an effective manner?
Did the ECB manage its financial risks in an
effective manner?
• Review of the overall risk management
framework at the ECB including review of the
best practices in other similar international
organisations in the area of risk management;
• Review of the operational risk management
framework and testing of six selected
business areas;
• Review of the financial risk management
framework and detailed testing.

ECB has established a comprehensive
organisational structure, roles and
responsibilities are clearly assigned;
BUT
there is a strong demarcation between the
management of financial and operational
risks in the ECB.
Adequate operational risks management
policies outlining ECB’s approach to
assessing, monitoring and
controlling/mitigating risks;
No integration of planning and operational
risk management cycles;
Sound framework for Business Continuity
Management, but no full Business Impact
Analysis made since the start of the financial
crisis.

Adequate framework and sound financial risk
management methodology for the
management of investment and policy
operations;
However, improvements required in the
practical application of the methodology.
To consider setting-up a hierarchically
independent, single, risk management
function, that would concentrate solely on
risk management and ensure a
comprehensive view of the ECB’s exposures;

To further improve ECB’s public disclosure of
risk management practices to external parties
in the annual accounts by applying best
practices, such as IFRS 7.

IBR-IRE
Voorstel van casestudies en getuigenissen - Externe auditor
Présentation de cas pratiques et témoignages - Auditeur externe
Presentation of case studies and testimonies - External auditor
De heer Herman Jan VAN IMPE
Lid van de Commissie non-profit en Bedrijfsrevisor
De heer Patrick VAN BOURGOGNIE
Bedrijfsrevisor
Mrs Ida BRORSSON
Manager, Assurance, Ernst & Young (Sweden)

Cliquez Institut et des modifiez Réviseurs d’Entreprises le titre
Cliquez Studiedag ______ pour ____ - 22 modifier ________ november les ___ styles 2012
______ du texte __ _____ du De performantie-audit masque __ ______ in de
Deuxième niveau
Voorstel van casestudies en
Troisième niveau
Quatrième de niveau
Belgische omgeving
Cinquième niveau
_______ ______
________ ______
________ ______
________ ______
Instituut van de Bedrijfsrevisoren
Cliquez et modifiez le titre
www.ibr-ire.be
openbare en de non-profitsector
getuigenissen: externe auditor in
Herman Van Impe
Bedrijfsrevisor
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Voorstel van casestudies en getuigenissen:
externe auditor in de Belgische omgeving
www.ibr-ire.be
• Wij kennen in België weinig voorbeelden van door de Overheid
opgelegde performantie-audit door de externe auditor
• Voorbeeld 1
Rapportering door revisoren erkend door de Controledienst der
Ziekenfondsen in het kader van de responsabilisering van de
verzekeringsinstellingen (Ziekenfondsen) betreffende het bedrag van
hun administratiekosten: audit en rapportering over de criteria 5, 6 en 7.
• Voorbeeld 2
De Kringloopcentra zijn verplicht om jaarlijks het werkblad “KRISS
20XX” in te vullen en over te maken aan OVAM en hun commissaris.
De commissaris dient een verslag te bezorgen m.b.t. de besteding van
de financiële middelen t.o.v. de erkenningsvoorwaarden van
Kringloopcentra.
19/11/2012 2

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Voorstel van casestudies en getuigenissen:
externe auditor in de Belgische omgeving
• Er is een groter aantal voorbeelden met verplichte
rapportering doch zonder verplichte externe audit op het
gerapporteerde. Zoals:
• NV’s van publiek recht en de rapportering over het naleven van
beheerscontracten
• Niet-Gouvernementele Organisaties
• Sociale Huisvestingsmaatschappijen
• Ziekenhuis- en Zorginstellingen
• VDAB
• Aftrekbare Giften
• Jaarrapportering van Hogescholen en Universiteiten, enz.
19/11/2012 3
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Verslaggeving over criterium 5
• Wetgeving: art. 31 van de wet van 6 augustus 1990
betreffende de ziekenfondsen en de landsbonden
van ziekenfondsen
• Opdracht voor de revisoren: verslag over de werking
van het systeem van interne controle en van interne
audit op het vlak van de verplichte verzekering voor
geneeskundige verzorging en uitkeringen.
• Wie ? De commissaris van het Ziekenfonds.
19/11/2012 4

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 5 (vervolg)
• Antwoord/Bevestiging op checklist van vragen over:
1. Samenstelling en rol van het auditcomité
2. Rol van de directie (effectieve directie) – vragen over
uitvoering “risk management”
3. Interne auditdienst
4. Auditplan en werkmethode
5. Globale beoordeling door de commissaris
19/11/2012 5
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 5 (vervolg)
• Vragen over specifieke aspecten van de interne
controle
1. De terugvordering in geval van subrogatoire betalingen
• Detectie van terug te vorderen prestaties
• Opvolging en terugvordering van de prestaties
2. De terugvordering in geval van onverschuldigde betalingen
• Detectie van terug te vorderen prestaties
• Opvolging van de terug te vorderen prestaties
19/11/2012 6

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 5 (vervolg)
• Beoordeling in vraagvorm m.b.t. de detectie van de terug te
vorderen prestaties:
1. Zijn de detectiemethodes performant?
2. Worden deze detectiemethodes correct en systematisch
toegepast?
3. Werden op het vlak van de veiligheid voldoende
maatregelen genomen om zoveel mogelijk te verhinderen
dat de ingestelde detectiemethodes kunnen omzeild
worden en laat het gebruik van eventuele alternatieven
een spoor na in het informaticasysteem?
4. Wordt een passend gevolg gegeven aan de eventuele
gebreken die zouden worden vastgesteld bij de toepassing
van de detectiemethodes?
Ja Neen Gedeeltelijk
19/11/2012 7
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 5 (vervolg)
• Beoordeling in vraagvorm m.b.t. opvolging en terugvordering
van de prestaties
1. Volstaan de ingestelde procedures om de gewenste
doelstelling te bereiken?
2. Worden deze procedures correct en systematisch toegepast?
3. Werden op het vlak van de veiligheid voldoende maatregelen
genomen om zoveel mogelijk te verhinderen dat de
ingestelde procedures kunnen omzeild worden en laat het
gebruik van eventuele alternatieven een spoor na in het
informaticasysteem?
4. Wordt een passend gevolg gegeven aan de eventuele
gebreken die zouden worden vastgesteld bij de toepassing
van de procedures?
Ja Neen Gedeeltelijk
19/11/2012 8

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 5 (vervolg)
• Beoordeling in vraagvorm m.b.t. het auditplan en de
werkmethode
1. Werden de opdrachten van de auditdienst door deze
dienst opgenomen in een auditplan?
2. Worden de opgestelde plannen nageleefd?
3. Worden de werkdocumenten opgesteld volgens een
vooraf bepaalde methode, die toelaat na te gaan of de
opdracht integraal werd uitgevoerd en de manier waarop
dat gebeurde?
4. Geven de documenten betreffende de gerealiseerde
opdrachten voldoende de uitgevoerde controles weer en
staven zij voldoende de beoordelingen die geformuleerd
werden in het auditverslag?
Ja Neen Gedeeltelijk
19/11/2012 9
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 5 (vervolg)
• Beoordeling in vraagvorm m.b.t. het auditplan en de werkmethode (vervolg)
5. Steunt het uitwerken van de auditplannen op
representatieve steekproeven van de bestudeerde
populatie?
6. Maakt elke opdracht van de interne auditdienst het
voorwerp uit van een schriftelijk verslag aan de effectieve
directie van de landsbond en aan het Auditcomité?
7. Houdt de effectieve directie van de landsbond voldoende
rekening met de aanbevelingen van de interne
auditdienst, meer bepaald door het instellen van
procedures ad hoc?
Ja Neen Gedeeltelijk
19/11/2012 10

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Verslaggeving over criterium 6
• Wetgeving : art. 2, lid 2 KB 10 oktober 1986 tot
uitvoering art. 53 van de wet betreffende de
verplichte verzekering voor geneeskundige
verzorging en uitkeringen, gecoördineerd op 14 juni
1994
• Opdracht voor de revisoren : rapportering over de
naleving van de verplichting tot het betalen van de
facturen in chronologische volgorde
• Wie ? De commissaris van het Ziekenfonds
19/11/2012 11
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 6 (vervolg)
1. Bestaat er een procedure die toelaat de juistheid van de ontvangstdatum van de facturen (op
papier en via magneetband) na te gaan?
2. Bestaat er een procedure die voorziet dat op iedere binnenkomende factuur of
verzendingsborderel een datumstempel wordt aangebracht?
3. Worden de papieren facturen en de magneetbanden van dag op dag in het factuurboek
ingeschreven?
4. Bestaat er een procedure om te verhinderen dat hetzelfde nummer aan verschillende facturen
wordt toegekend?
5. Bestaat er een procedure om te verhelpen aan iedere onderbreking in de nummervolgorde van de
facturen ("gap detection")?
6. Is er een procedure ingesteld om de juistheid te verzekeren van de berekening van de uiterste
data van betaling, voor de verschillende specifieke groepen van derdebetalers, vastgelegd door
een nationale overeenkomst (ziekenhuizen, RVT's, tariferingsdiensten, …)?
7. Bestaat er een procedure die verzekert dat de gedetailleerde lijst van de collectieve betalingen wel
degelijk overeenkomt met de betalingen uitgevoerd door de verzekeringsinstelling?
8. Bestaat er een procedure die verzekert dat de datum van ontvangst van de magneetband identiek
is aan de datum opgegeven in het factuurboek "magneetbanden"?
19/11/2012 12

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 6 (vervolg)
9. Heeft het ziekenfonds procedures ingesteld teneinde "abnormale" betalingstermijnen te
detecteren (bij voorbeeld inzake de ziekenhuizen, de RVT's, …)?
10. Maakt het vervaldagboek een automatische selectie van de facturen die na tarifering in
aanmerking komen voor chronologische betaling op grond van de datum van ontvangst van de
facturen en in functie van de uiterste data van betaling?
11. Wordt de ouderdomsbalans van de schuld regelmatig onderzocht om te verzekeren dat de
betalingstermijnen worden nageleefd?
12. Bestaat er een procedure opdat, indien de chronologie der betalingen niet nauwkeurig kan
gevolgd worden ingevolge de tarificatiedatum, dit geen aanleiding zou geven tot het opzettelijk
bevoordelen van sommige zorgverleners?
13. Geschiedt de betaling effectief enkel indien de 2 dragers ontvangen werden (indien een
magnetische drager verplicht is)?
14. Bestaat de procedure die voorziet dat de vervaldagnota's in de schoot van de mutualistische
entiteit beschouwd worden zoals elke andere factuur op het vlak van de inschrijving in het
factuurboek en de chronologie der betalingen?
19/11/2012 13
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 6 (vervolg)
Vragen over de globale beoordeling
1. Zijn de ingestelde procedures voldoende om de gewenste
doelstelling te bereiken?
2. Worden deze procedures correct en systematisch toegepast?
3. Werden er op het vlak van de veiligheid voldoende maatregelen
genomen om in de mate van het mogelijke te verhinderen dat de
ingestelde procedures zouden kunnen omzeild worden?
4. Wordt er een passend gevolg gegeven aan de eventuele
tekortkomingen die zouden vastgesteld worden bij de toepassing
van de procedures?
19/11/2012 14

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 7 (vervolg)
• Wetgeving : zelfde wet, gecoördineerd op 14 juli
1994
• Opdracht : de naleving van de termijnen van
toepassing inzake de toewijzing van de geboekte
prestaties aan een bepaalde boekingsmaand voor
wat de verzekering voor geneeskundige verzorging
betreft, of aan een bepaald kwartaal, voor wat de
uitkeringsverzekering betreft
• Wie ? De commissaris van het Ziekenfonds
19/11/2012 15
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Ziekenfonds – Revisorale verslaggeving over criterium 7 (vervolg)
• Beschrijving van de steekproef
• Beschrijving van de manier waarop de controles
werden uitgevoerd
• Beschrijving van de voornaamste bevindingen
• Beschrijving van de gevolgde procedure
• Algemeen besluit : bevestiging of de commissaris al
dan niet substantiële opmerkingen of aantekeningen
meent te moeten formuleren.
19/11/2012 16

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Kringloopcentra
• Wetgeving : Besluit van de Vlaamse Regering d.d. 20 mei
2005
• Ieder erkend kringloopcentrum heeft de verplichting om
jaarlijks werkblad KRISS 20XX in te dienen bij OVAM en de
Bedrijfsrevisor. Dit kadert in de verplichting dat de
commissaris van het Kringloopcentrum verslag moet
uitbrengen met betrekking tot de besteding van de financiële
middelen t.o.v. de erkenningsvoorwaarden van
Kringloopcentra.
19/11/2012 17
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Kringloopcentra. Revisorale verslaggeving
1. Met betrekking tot het (theoretisch) hergebruik
Vergelijking van de cijfers en gegevens van inzameling uit KRISS met de
facturatie en de afrekening van de tonnagevergoeding van de gemeenten.
Voor bulkafvoer (verkoop), textiel, afvoer glas, hout en andere fracties,
vergelijking van de afvoerbonnen en facturen met vermelding van kilo’s met de
cijfers uit KRISS.
2. Met betrekking tot de transacties tussen de kringloopcentra onderling en met
betrekking tot de aansluiting van de officiële balans en resultatenrekening en
KRISS
Voor de opgegeven kilo’s met de onderliggende verantwoordingsstukken wordt
verwezen naar punt 1 hierboven. Wat de financiële bedragen betreft, afstemming
van de cijfers zoals opgenomen in tabblad VI.04 met de jaarrekening,
respectievelijk 2010 en 2011.
19/11/2012 18

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Kringloopcentra. Revisorale verslaggeving (vervolg)
3. Met betrekking tot de besteding subsidie ontvangen van de OVAM
Afstemming van de gegevens zoals opgenomen in tabblad VI.05 met de
betreffende kostenrekeningen.
4. Met betrekking tot de voorraadtelling
Controle van de voorraad en bijwonen van de fysieke inventarisopname worden
uitgevoerd tijdens onze jaarlijkse auditwerkzaamheden m.b.t. het getrouw beeld
van de jaarrekening.
5. Met betrekking tot de begroting
Opvragen van de door de algemene vergadering goedgekeurde begroting van het
lopende jaar opvragen en kennis geven of/dat ze verkregen werd
6. Met betrekking tot de tabbladen ‘Te attesteren’: conformiteit tabbladen met
boekhoudkundige gegevens
19/11/2012 19
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Een aantal domeinen van mogelijke auditopdrachten
(performance audit)
1. Autonome Economische Overheidsbedrijven (NV’s van publiek recht)
Ondermeer : NMBS Holding, NMBS en Infrabel; Belgocontrol; De Lijn; MIVB;
VRT, enz.
Hebben beheerscontracten afgesloten met hun opdrachtgevers (de Staat in ruime
zin)
Moeten ondermeer rapporteren over:
‣ De kwaliteit van hun dienstverlening (bvb. tijdigheid van de treinen)
‣ De veiligheid (bvb. op tram en bus)
‣ Behalen van kwantitatieve doelstellingen
(aantal reizigers ; aantal kijkers; marktpositie, enz.)
Geen revisorale controle op gegevensverstrekking
19/11/2012 20

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Een aantal domeinen van mogelijke auditopdrachten
(performance audit) (vervolg)
2. Niet-Gouvernementele Organisatie (NGO’s)
Regelgeving : algemene kosten NGO mag 15 procent van de inkomsten niet
overschrijden
Controle erop : Compliance audit. Ook dicht bij performatie audit
Rapportering aan overheid over resultaten van hun werking in het buitenland
Revisorale Attestering : wel inzake financiële gegevens
Geen attestering over behaalde resultaten in het buitenland
19/11/2012 21
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Een aantal domeinen van mogelijke auditopdrachten
(performance audit) (vervolg)
3. Sociale Huisvestingsmaatschappijen
Er is een revisorale controle over de jaarrekeningen (verplicht commissaris)
Er is geen externe audit over:
‣ Bezettingsgraad huurwoningen
‣ Respect eerbiedinging volgorde lijsten en voorwaarden tot verlening woning
‣ Info op naleving kwaliteitseisen van de huurwoningen, enz.
19/11/2012 22

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Een aantal domeinen van mogelijke auditopdrachten
(performance audit) (vervolg)
www.ibr-ire.be
4. Zorginstellingen: Ziekenhuizen, rustoorden, orthopedagogische centra, enz.
Er is een revisorale controle over de jaarrekeningen (verplicht commissaris)
Geen externe controle over andere gegevens mbt. kwaliteit dienstverlening,
bezettingsgraad bedden, elementen ligdagprijzen : Overheid controleert zelf
(sporadisch en fragmentair).
19/11/2012 23
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Een aantal domeinen van mogelijke auditopdrachten
(performance audit) (vervolg)
www.ibr-ire.be
5. VZW’s en fiscale vrijgestelde giften
Een van de voorwaarden : Kosten van algemeen beheer mogen volgens het
KB/WIB 92 niet meer bedragen dan 20 procent van de bestaansmiddelen van alle
aard, vooraf verminderd met die welke voorkomen van andere erkende
instellingen
Ministerie van Financiën doet zelf controles : meestal vanop afstand en
fragmentair
Geen revisorale attestatie hierop
19/11/2012 24

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Besluit
Er zijn in België weinig voorbeelden van wettelijk opgelegde
performantie-audits.
De meeste Entiteiten in ruime zin (NV’s van publiek recht;
Intercommunales; VZW’s; …) dienen zowel kwalitatieve als
kwantitatieve gegevens aan de subsidiërende overheid door te
geven.
Deze subsidie-verlenende overheden doen zelf dikwijls vormen
van performantiecontrole, doch deze zijn meestal fragmentair
en zeer gericht op een aantal beperkte parameters.
19/11/2012 25

Cliquez Institut et des modifiez Réviseurs d’Entreprises le titre
Cliquez ______ pour ____ modifier ________ les ___ styles
______ du texte __ _____ du masque __ ______
Deuxième Performance
niveau
Troisième audit niveau - cases
Quatrième niveau
Cinquième niveau
_______ ______
________ ______
________ ______
________ ______
Instituut van de Bedrijfsrevisoren
Cliquez et modifiez le titre
www.ibr-ire.be
Patrick Van Bourgognie
Bedrijfsrevisor
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Performance audit - definition
“Performance auditing is an independent
examination of the efficiency and
effectiveness of government
undertakings, programs or organizations,
with due regard to economy, and the aim
of leading to improvements.”
19/11/2012 2

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Performance audit – 2 cases
USA, September 30 th 2011, “Recovery Act:
slow pace placing workers into jobs
jeopardizes employment goals of the green
jobs program”
Australia, February 2010, “Improving road
safety: school zones – Roads and Traffic
Authority of New South Wales”
19/11/2012 3
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
1. Recovery act green jobs program
• US Senator requested an audit of Recovery Act funds spent on Green
Jobs, and the definition used by the Department for what constitutes a
green job, as well as the duration of the jobs created pursuant to the
funds expected.
• The Recovery Act provided $500 million for research, labor exchange,
and job training projects that prepare workers for careers in energy
efficiency and renewable energy as described in Section 171(e)(1)(B) of
the Workforce Investment Act. The Department of Labor, Employment
and Training Administration (ETA), awarded these funds under different
types of competitive grant programs to (1) train and prepare individuals
for careers in “green jobs;” and (2) collect, analyze, and disseminate labor
market information.
19/11/2012 4

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Audit objectives
The audit objectives were to answer the following questions:
1) How has ETA defined green jobs?
2) What is the status of funds expended, and how have
grant funds been used?
3) To what extent have ETA and grantees reported
achieving performance targets for training and
placement of workers, and employment retention?
19/11/2012 5
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Audit report – Table of contents
• Assistant Inspector General’s Report
• Results In Brief
• Objective 1 — How has ETA defined green jobs?
• Objective 2 — What is the status of funds expended, and how have grant funds
been used?
• Objective 3 — To what extent have ETA and grantees reported achieving
performance targets for training and placement of workers, and employment
retention?
• Recommendations
• Exhibits
• Appendix A Background
• Appendix B Objectives, Scope, Methodology, and Criteria
• Appendix C Acronyms
• Appendix D ETA Response to Draft Report
19/11/2012 6

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Expenditure
19/11/2012 7
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
Outcome
19/11/2012 8

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
2. Improving Road Safety: School Zones
Roads and Traffic Authority of New South Wales
Reduced speed limits around some schools were
introduced in NSW in 1992 to improve safety of school
children.
In 2001 the Minister for Roads announced that the
Government would implement 40 km/h speed limits on all
roads with direct access to schools.
By the beginning of 2003 these school zones had been
installed at 10,000 school zones around all 3,154 NSW
schools.
19/11/2012 9
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Objective of the audit
www.ibr-ire.be
The objective of this audit is to assess whether school
zone initiatives have made a difference to safety around
schools. Our lines of inquiry were:
Are there practical approaches to address road
safety issues around schools?
Have these approaches contributed to improved
road safety around schools?
19/11/2012 10

Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Audit report – Table of contents
www.ibr-ire.be
• Audit conclusion and recommendations
‣ About the audit
‣ Conclusion
‣ Recommendations
‣ Response from Roads and Traffic Authority of NSW
• Key findings
• Appendices
‣ 1. Speeding infringements by fixed speed cameras in school zones
‣ 2. Delivery of school zone Government commitments
‣ 3. Status of school zones
‣ 4. About the Audit
• Performance Audits by the Audit Office of New South Wales
19/11/2012 11
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
Audit Objective and Lines of Inquiry
www.ibr-ire.be
• Audit objective
‣ Our objective in this audit is to determine if school zone initiatives
have made a difference to safety around schools.
• Lines of Inquiry
‣ In reaching our opinion against the audit objective, we sought to
answer the following questions:
1. are there practical approaches to address road safety issues
around schools?
2. have these approaches contributed to improved road safety
around schools?
19/11/2012 12

Audit Criteria
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
In answering the lines of inquiry, we used the following audit criteria
(the ‘what should be’) to judge performance. We based these
standards on our research of current thinking and guidance on better
practice. They have been discussed and agreed with those we are
auditing.
For line of inquiry 1, we assessed the extent to which:
• children face road safety risks around schools
• there are ways to address these risks.
For line of inquiry 2, we assessed the extent to which:
• the impact of road safety initiatives around schools is assessed
• there have been changes in road safety around schools
• school zone initiatives have affected traffic conditions.
19/11/2012 13
Audit Scope
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
The audit focused on the introduction of school zones and other
related initiatives and whether they have been successful in
improving safety around schools.
We reviewed:
• processes to identify risk and to determine appropriate measures
• school zone accident statistics and research
• processes used by agencies to monitor, assess and evaluate the
effectiveness of these measures
• information on the impact on other road users potentially affected
by school zones
• information on general community perceptions of school zones
and child safety around schools.
19/11/2012 14

Audit Approach
Instituut van de Bedrijfsrevisoren
Institut des Réviseurs d’Entreprises
www.ibr-ire.be
We acquired subject matter expertise by reviewing and auditing:
• policy documents and legislation
• relevant internal policies, procedures, standards, and guidelines
• assessments undertaken on the various initiatives for school zones
• data on infringements and fines
• research reports and studies on child safety around schools from
within Australia and internationally
• road user and community surveys on perceptions of school zones
• practices in other jurisdictions nationally and internationally.
We interviewed representatives of: …
19/11/2012 15

Performance Audit in Sweden
Belgian IRE Seminar
November, 22 2012
Ida Brorsson, Ernst & Young
Agenda
1
The Audit system in Government and Public Sector
2 Case study

Three democratic levels – two audit systems
National level
Regional level
Local level
3
National level
In charge
Laws and
Regulations
Standards
Objective
Fields of
operation
Audit task
► The Swedish
National Audit Office
(NAO).
► NAO is an
independent
authority under the
control of the
Swedish Riksdag
(Parliament).
► The Swedish NAO
is managed by the
three auditors
general appointed
by the Riksdag.
► Constitutional Law
► National Audit Act
► Instructions for the
National Audit Office
Act
► Shall apply ISSAI,
INTOSAI
► Swedish authorities,
approximately 300
► Certain
organisations such
as the Swedish
Inheritance Fund
and Royal
Household and
Establishment
► Financial Audit
► Performance Audit
► Conditions related
to the state budget,
the implementation
and results of
government
activities and other
commitments, or
government
contributions in
general
► Accounts are
correct
► The performance
audit shall mainly
focus on
management,
utilization of
resources and
public benefit
4

Regional and Local level
In charge
Laws and
Regulations
Standards
Objective
Fields of
operation
Audit task
► Politically elected
auditors. The
Municipal and
County Councils
elect at least five
auditors every four
year.
► According to law,
the auditors hire
professional
auditors who they
contract themselves
(e.g. consultants or
accountants) often
after a public
purchasing process.
► Local Government
Act
► Code of Audit in
Local Government
► The Code is not
regulated by law
► Municipalities and
County Councils
► Companies own by
the local
government
► Only politically
elected members of
the executive board
or other committees
are accountable in
regard to the audit.
► Financial Audit
► Performance Audit
► Operations have
been conducted
consistently in
accordance with
their purpose stated
by the Council, and
in a financially
satisfactory manner
► Internal control has
been adequate
► Accounts are
correct
► Judge the executive
board and other
committees
accountability,
whether or not they
can be discharged
from liability
5
Agenda
1
The Audit system in Government and Public Sector
2 Case study

Project plan
Define the audit plan
Background
Risk
assessment
Objective
Audit
questions
Audit
criteria
Method
Audit scope
Review of Independent Preschools (I P)
7
Background and Risk Assessment
►
►
►
Independent preschools are allowed in Sweden. Individual
Municipalities are responsible for the approval of applications and
grants to establish them.
According to the the Education Act, the Municipality has a supervisory
responsibility for the independent preschools. The Swedish Schools
Inspectorate has supervisory responsibility for school-age child care,
schooling and adult education.
The task is to check and judge if:
► the independent preschools comply with the legislation and other
regulations applicable to their activities.
►
Identified risk: does the committee perform their supervisory
responsibility according to the Education Act?
8

Objective and Audit questions
►
To asses whether the committee for children and education ensures
that the independent preschools provide a high quality service in a
secure environment in accordance with laws and regulations.
►
Audit Questions
► Criteria/Guidelines
► Assignment of responsibilities
► System/Routines/Follow up
► Handling of complaints
► Measure if deficits or discrepancies have occured
► Reporting to the committee
9
Audit criteria, Method and Audit scope
►
►
Education Act and Curriculum
Municipal policy documents
► goals
► guidelines
► criteria for approval
►
►
►
Interviews with relevant personnel
Study documentation
Review of the committee’s protocol
►
►
The Municipality has in total 14 independent preschools.
The audit has not included a review of the quality of the independent
preschools.
10

Result from the audit
Audit questions
Criteria/Guidelines
Assignment of responsibilities
System/Routines/Follow up
Handling of complaints
Reporting to the committee/
Measures if deficits or discrepancies are
noticed
Comments
The committee has developed guidelines which define
the criteria for approval of I P’s and the requirements
that I P’s must follow.
Clarified in the list of delegation.
Visit all the I P’s on an annual basis
Invite representatives from the I P’s to twice yearly
information meetings.
I P’s are required to complete an annual ‘supervision
form’. The information can be used as a follow-up tool.
Annual requirement by I P’s to submit documentation
e.g. budget, annual report, quality report.
A section of the ’supervision form’. Complaints are
handled in accordance to the municipal system for
complaints.
As a routine the completed ’supervision forms’ are
forwarded to the committee.
All discrepancies of significant value are reported to
the committee for further action.
11
Findings and Recommendations
Audit questions Findings Recommendations
System/Routines
Compliance with
the Education Act
and Curriculum
Assignment of
responsibilities
Reporting to the
committee
The committee’s supervisory responsibility
of the I P’s could be further systematized.
A plan for the supervision is missing.
An in-depth analysis of the compliance of
the educational and safety aspects stated in
the Education Act and Curriculum is
missing.
Submitted documents from the I P’s could
be further evaluated in order to control and
improve the I P’s quality and outcomes.
No clarification provided in the list of
delegation, of who has the right of decision
in the event of serious defects being noted.
A continuous reporting of the performed
supervision is missing.
The review of the committee’s protocols
during the period 2010- April 2012, shows
that only 7 out of 14 I P’s have been
reviewed and reported to the committee.
1. An annual plan for the supervisory
responsibility should be developed.
2. An assessment criteria should be
developed as a basis for the follow-up.
3. The committee’s supervision should be
further linked to the criteria stated in the
Education Act and Curriculum, and the
documents submitted by the I P’s.
4. The supervision should result in a
documented assessment to determine if
the I P’s have complied with the criteria
for quality and safety.
5. The list of delegation should be clearly
defined.
6. The committee as a supervisory body,
should continuously ensure that the
required supervisory reports are
obtained, to ensure that the I P’s comply
with the Education Act and Curricula.
12

Report of the Audit and Communication of
the Audit results
Presentation
of the audit
results to the
auditors
Presentation
of the audit
results to the
responsible
committee
The auditors
request a
response from
the committee
and actions to
be taken
Presentation
of the audit to
the Council
The audit is
part of the
auditors test
of
accountability
13
Contact details
► Ida Brorsson, Ernst & Young, Malmö, Sweden
► ida.brorsson@se.ey.com
► +46 70 307 17 52, +46 40 693 15 98
14

Thank you
Ida Brorsson

IBR-IRE
Rondetafelgesprek: huidige en toekomstige rol van de bedrijfsrevisor in het kader
van een performantie-audit
Table ronde : Rôle actuel et futur du réviseur d’entreprises dans le contexte d’un
audit de performance
Round table: current and future role of the statutory auditor within the
framework of a performance audit
Modérateur : Monsieur Michel DE WOLF
Président, Institut des Réviseurs d’Entreprises (IRE-IBR)
Mr Igors LUDBORŽS
Member, European Court of Auditors, Dean of the CEAD Chamber
De heer Ignace DESOMER
Voorzitter, Rekenhof
Mr Mads Nyholm JACOBSEN
Director, Danish Court of Auditors
Mevrouw Martine VERLUYTEN
Voorzitter van het auditcomité, IAVA
Monsieur Jean-Michel CASSIERS
Président, IIA Belgium et Directeur général adjoint Service Général de l’Audit
et de la Qualité, Fédération Wallonie-Bruxelles
De heer Lieven ACKE
Raadslid IBR, Bedrijfsrevisor
Prof. Dr. Johan CHRISTIAENS
Lid van de Commissie non-profit,
Accounting Research Public Sector UGent en Bedrijfsrevisor
De heer Herman Jan VAN IMPE
Lid van de Commissie non-profit en Bedrijfsrevisor

IBR-IRE
Conclusie & toekomstige ontwikkelingen
Conclusion & évolutions futures
Conclusion & future development
Monsieur Michel DE WOLF
Président, Institut des Réviseurs d’Entreprises