Évaluer les politiques : à quelle hauteur mettre la barre ?

La Région wallonne fait des efforts pour évaluer ses politiques. Seront-ils jamais suffisants ou satisfaisants ? C’est la question qui se pose à la lecture d’un récent Courrier hebdomadaire du CRISP.

Les politiques wallonnes font l’objet d’évaluations scientifiques. Pas toutes, avec certains terrains quasi intouchés comme l’action sociale. Avec certains champs particulièrement labourés, comme les politiques cofinancées par le Feder et le FSE. Et de fait s’est formé un marché de l’évaluation, avec des donneurs d’ordres et des prestataires. L’étude en donne une description bien informée et intéressante. Encore faut-il que tous ces résultats soient utilisés, publiés, débattus. Les chantiers sont encore nombreux où le potentiel de progrès est important.

David Aubin et Pol Fyalkowski, les auteurs, ont ainsi élaboré un indicateur qui permettrait de suivre la question. Mais de leur propre aveu, les critères maîtrisables sont surtout quantitatifs et formels. Autrement dit, tout cela donne peu d’indications sur la qualité même des évaluations.

Sérieux et précieux

Si l’évaluation des politiques doit par définition reposer sur des méthodes scientifiques, encore faut-il savoir ce qu’on entend par là. La scientificité en sciences humaines reste une question ouverte, lieu de vifs débats. Les auteurs l’abordent en partant de la finalité de l’évaluation : si elle doit poser un jugement sur les effets d’une politique, il faut pouvoir isoler ceux-ci. Pour ce faire, il n’y a pas trente-six manières de procéder, ce sont les méthodes expérimentales qui sont les plus indiquées. En clair, il s’agit de comparer deux groupes d’individus ou d’organisations : un groupe qui est touché par la politique qu’on évalue, et un groupe de contrôle, qui n’est pas touché. On compare ensuite.

Mais cette vision pose plusieurs problèmes. D’abord parce que la plupart des politiques sont universelles : elles s’appliquent à tous sans discrimination. On ne peut pas réserver une nouvelle aide à l’emploi à tel échantillon d’entreprises. Or pas de groupe de contrôle, pas de méthode expérimentale possible. Second problème, ces méthodes sont chères, ce qui explique qu’elles ne sont que rarement utilisées même quand une politique se met en place par vagues ou par projets-pilotes. Enfin, le constat des effets ne suffit pas : l’évaluation nécessite une explication, en particulier une identification des liens de causalité. Pour ce faire, il faut des modèles théoriques ou des hypothèses, mais qui sont éventuellement très abstraits et très éloignés de la réalité, par exemple en ne prenant en compte que ce qui est mesurable et quantifiable ?

C’est le hiatus qu’on rencontre couramment dans les études économiques qui évaluent l’effet des aides à l’emploi : leurs constats sont souvent sombres, mais elles sont peu utiles comme aides à la décision.

Anticiper

Certaines politiques ne seraient-elles pas évaluables ? « Non, répond Pol Fyalkowski. Elles le sont toutes si l’on a pensé à leur évaluation au moment de les préparer, et si les autorités se soucient de la qualité institutionnelle de l’évaluation : avoir de bonnes statistiques publiques, de l’expertise pour la rédaction des cahiers des charges, du professionnalisme dans le choix des prestataires, sans oublier de soutenir des communautés de praticiens, etc. » Comme la Région essaie de le faire, indique-t-il, avec son Plan Marshall 2.vert.

L’évaluation peut donc être à la fois sérieuse et précieuse. Tant qu’on n’en attend pas plus que ce qu’elle peut offrir.