Sélectionner une page

Boîte à outils Plan directeur de l’eau (PDE)

Icone

Introduction au suivi & évaluation

De façon simplifiée, on peut affirmer que le suivi est la mesure continue du rendement, alors que l’évaluation consiste en la mesure des effets. Ces deux concepts sont intrinsèquement liés et complémentaires. Ainsi, lorsqu’il est effectué correctement, le suivi fournit une solide base pour effectuer une évaluation complète. Le tableau 1 présente de façon synthétisée les caractéristiques respectives du suivi et de l’évaluation.

Tableau 1. Quelques caractéristiques respectives du suivi et de l’évaluation (adapté de Banque Mondiale (2005: 13-15)

  Suivi Évaluation
Objectifs Améliorer l’efficience, modifier le plan d’activité ou l’affectation des ressources Examiner les relations causales conduisant des activités aux résultats, expliquer pourquoi certains résultats attendus n’ont pas été atteints
Clarifier les objectifs et leur transformation en indicateurs de performance Examiner la mise en oeuvre
Comparer régulièrement les réalisations par rapport au plan et communiquer les progrès aux responsables et les aviser des difficultés Fournir des enseignements, améliorer l’efficacité, les effets, l’impact de la future planification
Principales activités Définition des indicateurs, recueil régulier d’informations, comparaison avec le plan, comptes rendus Appréciation, mesure systématique des effets, recherche des causalités par des méthodes rigoureuses
Fréquence Périodique : journalier, hebdomadaire, mensuel, trimestriel, selon les projets et programmes Épisodique : mi-parcours, fin de projet ou programme
Source d’information Essentiellement des informations fournies par le système de gestion Informations provenant des suivis, complétés par des études, des analyses, des entretiens
Effectué par qui? L’équipe de réalisation du projet ou programme, partenaires sur le terrain (ex. RSV-Lacs) Idéalement, des évaluateurs externes au projet ou programme, mais dans le cas des OBV ce pourrait être la table de concertation
Destinataire principal du rapport Chef de projet ou de programme, équipe de réalisation Acteurs, population, autorités

Il existe plusieurs approches concernant le suivi et l’évaluation de projet, de même que plusieurs types de suivi, qui peuvent rapidement devenir confondants. Nous souhaitons proposer une approche simple et fonctionnelle, dont la forme devra cependant être ajustée en fonction de la méthode de travail ou de la façon dont l’OBV a conçu son PDE.

Le suivi

Deux types de suivi : différents mais tout aussi importants

Selon Jones et al. (2002: 28), on retrouve habituellement deux types de suivi principaux et primordiaux à faire dans un programme de suivi et d’évaluation du PDE. Le premier est le suivi des résultats, où l’on vise à évaluer la qualité de l’environnement, les changements sociaux et, ainsi que leur évolution dans le temps et dans l’espace. Le suivi des résultats est donc relatif aux objectifs ciblés. Il n’a de sens que s’il permet de comparer la valeur d’une donnée nouvellement acquise à une valeur de référence pour cette même donnée, soit une valeur ou un état de départ. Cette valeur est normalement connue et comprise dans le portrait du PDE, que ce soit un paramètre environnemental ou une donnée sociale (voir le schéma de l’entonnoir-miroir à la page 10).

Le deuxième est le suivi administratif, où l’on cherche à déterminer l’efficacité des actions et des programmes implantés. Il est donc relatif à l’action. On évalue ainsi la performance des actions mises en oeuvre dans le milieu que l’on retrouve dans le PDE de l’OBV. Il est donc relatif aux actions posées.

Les deux types de suivi sont intrinsèquement liés (figure 1), le suivi des résultats, en plus de constituer un générateur de données de base en continu, permet de valider si les objectifs administratifs de planification du projet ou du programme étaient réalistes selon le cadre défini par l’OBV (ressources consacrées, échéancier, partenaires, etc). 

Figure - suivi et évaluation

Figure 1. Schématisation de la relation entre le suivi des résultats et le suivi administratif (adapté de Jones, 2002, p.29)

Le tableau 2 présente un résumé des caractéristiques respectives de chacun des deux types de suivi.

  Suivi administratif Suivi des résultats
Objet Déterminer l’efficacité et l’efficience des actions et des programmes implantés Évaluer la qualité de l’environnement et les changements sociaux, et leur évolution dans le temps et dans l’espace
Mesures Actions administratives (ex. projets sur le terrain) Indicateurs de qualité environnementale et indicateurs sociaux
Rôle dans la gestion adaptative Améliorer les programmes, modifier les objectifs, réajuster les stratégies et apprendre des succès et échecs Permet de prioriser les actions administratives, identifier les enjeux du bassin versant, supporter le développement d’objectifs réalistes.

Tableau 2. Comparaison des deux types de suivi (adapté de Jones, 2002, p.28)

Le suivi des résultats

Le suivi des résultats est basé sur des indicateurs, ceux-ci étant majoritairement des indicateurs de qualité environnementale ou des indicateurs sociaux. Il est connu que les indicateurs environnementaux sont souvent très coûteux en termes d’échantillonnage et d’analyse, ainsi vaut-il mieux sélectionner ces indicateurs en fonction de leur accessibilité. Les données sont-elles disponibles à l’interne ou à l’externe? Sont-elles coûteuses? Sont-elles complexes à collecter et à analyser? Toutes des questions à se poser lors de la planification d’un programme de suivi et évaluation (voir les répertoires d’indicateurs de performance environnementale et de changement de comportement).

Le suivi des résultats est généralement basé sur les indicateurs suivants :

  • paramètres environnementaux,
  • changements de comportements,
  • conflit, récupération, création ou maintien d’un usage,

selon les types d’objectifs fixés dans le PDE. Le suivi des objectifs d’acquisition de connaissances n’apparaît cependant pas nécessaire, mais il y aura dans ce cas un suivi administratif.

L’utilisation d’indicateurs sociaux (pour les objectifs de changements de comportement ou de récupération d’usage) peut permettre de faire un suivi environnemental indirectement.

Par exemple, si on ne dispose pas de l’indicateur environnemental voulu ou que ces derniers ne sont pas adaptés au besoin, notamment dans le cas des enjeux d’accessibilité, de sécurité ou de culturalité où les indicateurs environnementaux ne permettent pas de renseigner sur l’évolution de la situation, un indicateur social pourrait être utilisé de façon indirecte. Ici, l’important est d’avoir l’indicateur approprié à ce que l’on veut suivre.

Par exemple, si on a un surplus de phosphore dans un lac et qu’on veut en diminuer la concentration, on pourrait avoir un objectif qui serait de diminuer les concentrations de phosphore d’une quantité X d’ici une date Y. Toutefois, suivre les taux de phosphore serait vraiment coûteux et compliqué et l’OBV n’a pas nécessairement les ressources nécessaires pour le faire. On pourrait donc envisager de suivre les sources de phosphore autrement, soit, par exemple, par les fermes, où l’on suivrait le nombre de fermes qui auraient mis en place des actions visant à diminuer leur rejet en phosphore. L’objectif doit cependant être reformulé et deviendrait plutôt d’augmenter de telle proportion le nombre de fermes ayant mis en place des mesures de réduction du phosphore d’ici l’année Y. Éventuellement, il faudra cependant inévitablement vérifier sur le terrain (lorsqu’on aura les subventions ou qu’un programme gouvernemental sera créé) si le taux de phosphore a effectivement diminué ou non.

Le suivi administratif

Le suivi administratif est généralement basé sur les indicateurs suivants : ressources humaines, financières et matérielles (afin d’évaluer les coûts), échéancier, acteurs et partenaires impliqués, nombre de participants et bénévoles à une activité, ainsi que sur les éléments liés aux moyens de mise en oeuvre des actions.

En suivant ces différents indicateurs, on pourra ainsi faire une évaluation complète lorsque le moment sera venu, ce qui permettra de maximiser les résultats et, s’il y a lieu, de réorienter certaines actions ou certains projets et/ou programmes.

Encadré 1. Distinction importante à faire entre ces suivis (résultats et administratifs) et le suivi des activités de l’organisme

Il faut faire bien attention à ne pas confondre un programme de S&E, tel qu’il a été expliqué, avec le suivi des activités de l’OBV. Le programme de S&E vise à suivre les paramètres environnementaux, sociaux et administratifs dans le but d’évaluer l’avancement de la mise en oeuvre du PDE, pour ainsi être en mesure de rectifier le tir, de faire des modifications aux objectifs ou au plan d’action, et d’apporter des améliorations aux différents projets, programmes et actions.

Contrairement à ce dernier, le suivi des activités de l’OBV consiste à suivre l’évolution du plan d’action annuel et/ou de la planification stratégique. Il s’agit ensuite d’évaluer si son OBV est bien arrivé où l’on pensait à la fin d’une période x, s’il peut s’améliorer en tant qu’organisme et si oui, comment et où. À titre d’exemple fictif, si on veut faire le suivi de l’action du PDE «publier cinq articles dans le journal local en 2012», on pourrait suivre le nombre d’articles publiés cette année comparativement à l’année précédente (suivi des résultats) et les ressources humaines consacrées à la rédaction de ces articles en temps et en salaire (suivi administratif).

L’évaluation

L’évaluation est en quelque sorte un temps d’arrêt où l’on interprète les données récoltées lors du suivi pour ensuite les mettre en lien. Son objectif est l’amélioration des activités en cours afin de maximiser l’efficacité de l’implantation du PDE et de son plan d’action.

Quand s’évaluer?

L’OBV doit penser à développer un programme de suivi et évaluation très tôt dans le processus d’élaboration du PDE, soit lors de la rédaction des orientations et objectifs. À ce moment, il doit donc prévoir dans son programme de S&E des dates ou des moments (des «milestones») où il s’arrêtera en cours de route afin de vérifier si ses activités sont dans la bonne direction ou s’il y aurait lieu de rectifier le tir avant de rater sa cible. Le nombre importe peu, c’est à l’OBV de voir combien et à quel moment il devrait placer ces moments d’arrêt.

Il est important de noter que les modifications au PDE devront être compilées et transmises au MDDELCC, tel que mentionné dans les Conventions des OBV.

Mis à part les «milestones», l’OBV doit aussi faire une évaluation finale lorsque le projet, le programme ou l’action est complété.

Ainsi, si l’OBV effectue une bonne planification de son programme de S&E, il évitera d’investir temps et argent dans un projet qui ne donnera pas les résultats escomptés (ou pire, qui empirera un problème) alors que c’était prévisible et qu’un temps d’arrêt au moment opportun aurait pu l’aider à rectifier la situation.

Quoi évaluer?

Pour le suivi des résultats, on cherche à voir à quel point l’objectif a été atteint, ainsi que ses composantes. Qu’est-ce qui a influencé positivement et négativement sur l’atteinte ou non de l’objectif? Est-il possible d’améliorer davantage dans un cas positif (par exemple si un changement de comportement s’opère)? Comment remédier à la situation dans un cas négatif (par exemple si on constate une dégradation environnementale plutôt qu’une amélioration)?

Pour le suivi administratif, il s’agit d’évaluer les façons de faire, les méthodes ou stratégies employées, l’atteinte de l’objectif par rapport à l’échéancier, le budget, les ressources humaines allouées, les acteurs impliqués, etc.

Lors des évaluations de «milestones», vous serez normalement en mesure de constater les points négatifs et de rectifier la situation et ainsi avoir une évaluation finale du projet, programme ou de l’action plus positive.

Les indicateurs

Pour s’évaluer, on doit se baser sur des indicateurs. Lors de la rédaction de chaque objectif, on doit déjà lui attacher un indicateur réaliste qui pourra permettre le suivi de cet objectif. On peut trouver des indicateurs environnementaux (suivi des résultats, branche environnementale), des indicateurs sociaux et socio-économiques (suivi des résultats, branche sociale) et des indicateurs plus administratifs (suivi administratif).

Il est important de faire le bon choix d’indicateur afin qu’il nous permette de suivre et d’évaluer adéquatement un paramètre. Le choix des indicateurs est intimement lié au choix des objectifs, le choix de l’un influençant la formulation de l’autre.

Pour les critères permettant de sélectionner un indicateur, référez-vous à l’introduction du répertoire d’indicateurs de performance environnementale où l’on traite desindicateurs «SMART».

Élaborer un programme de suivi et évaluation de PDE

Nous entendons par programme de suivi et d’évaluation la démarche complète de réflexion de S&E, soit dès le début de la planification des objectifs jusqu’à la fin de l’évaluation.

En effet, malgré le fait que le suivi et l’évaluation soient présentés comme étant les dernières étapes de l’exercice du PDE, ils doivent être réfléchis dès l’élaboration des objectifs et du plan d’action. En effet, l’utilisation d’objectifs et d’indicateurs (pour suivre ces objectifs) «SMART» (voir l’encadré 1) permet dès le départ de s’assurer que le suivi de ces derniers sera réaliste, simple et adapté aux moyens dont disposent l’OBV.

Puis, lors de l’élaboration du plan d’action, il est primordial de proposer des actions à mettre en oeuvre qui seront aisément suivies et évaluées, de manière à simplifier au maximum la logistique du programme de S&E. De cette manière, vous éviterez de vous retrouver avec un PDE complet mais dont les objectifs et actions sont très difficiles à suivre, faute d’y avoir réfléchi précédemment. Il est beaucoup plus facile de le planifier avec soin en amont, plutôt que de tenter d’arrimer un programme de S&E à un PDE développé de façon indépendante.