Evaluer le social à tout prix

Le fondement des CIS tient à la possibilité d’en mesurer les résultats. A titre d’exemple, les objectifs du contrat signé par l’association Article 1 sont clairs, nets, chiffrés : 125 ateliers déployés sur cinq ans, + 7 points de pourcentage sur la « volonté de poursuite d’étude », « au moins 25 mentors par cohorte » et 5 points de pourcentage supplémentaires concernant l’assiduité à l’examen du BTS. Le projet, qui repose sur l’accompagnement scolaire de jeunes en milieu rural, prévoit le soutien de 1 000 élèves dans les Hauts-de-France et en Occitanie, et mesurera sa réussite à la lumière de ces quatre indicateurs.

Benjamin Varron, chef de projet en charge du CIS, n’y voit aucun inconvénient : « On a l’habitude d’aller questionner et évaluer nos programmes. Cela nous permet de garantir qu’on a le bon impact sur les bénéficiaires et de réajuster le tir si besoin », confirme-t-il. La culture de l’évaluation, propre au monde de l’entreprise, s’est peu à peu distillée dans le secteur social et médico-social, et notamment à travers la loi 2002-2 rénovant l’action sociale et médico-sociale. Accompagnateur de projets au sein d’une association d’éducation populaire depuis dix ans, Alexandre a constaté une évolution. « Cette façon d’évaluer le privé est aujourd’hui partout ; on est sur des temps courts, des projets annuels qu’il faut présenter et évaluer de façon très fine. On nous demande par exemple combien de personnes vont sortir en contrats à durée indéterminée, combien d’hommes, de femmes… Le problème, c’est qu’on ne fabrique pas des voitures, on ne peut pas tout prévoir. »

L’introduction de la mesure de l’impact social et son développement dans le champ de l’économie sociale et solidaire s’effectuent, aux Etats-Unis, par l’intermédiaire des réseaux de la « venture philanthropy » et, en France, par celui de l’entrepreneuriat social. Il s’agit aussi bien de « qualifier les entreprises sociales » que d’« attester de leur performance », écrit la sociologue Eve Chiapello, auteure d’un article consacré à la mesure de l’impact(1). Si les travailleurs sociaux ont à cœur de connaître l’impact sur leurs bénéficiaires, le problème tient à conditionner les financements à cette seule mesure. Avec les CIS, l’introduction du paiement au résultat pousse la logique un cran plus loin, et l’évaluation de l’action sociale devient aussi une façon pour le financeur d’encadrer les risques.

« Dans tous les dispositifs d’investissement à impact, il faut se demander à qui bénéficie la valeur créée. Aux bénéficiaires, on l’espère ; aux gens qui ont travaillé sur le projet ; mais également aux intermédiaires », analyse Nicole Alix, présidente de La Coop des communs. Dans les contrats à impact social, plusieurs intermédiaires entrent en jeu. L’acteur bancaire, d’abord, joue un double rôle. En plus de financer, l’une des banques va également agir comme « structureur » du contrat. En cette qualité, elle participe à l’élaboration des critères de réussite et structure l’ingénierie financière. « C’est faire en sorte que des parties qui ne parlent pas le même langage se comprennent. Par exemple, à la fois respecter l’intention de la puissance publique et diversifier les indicateurs pour permettre un niveau de confort et une mesure dans le temps qui diminue la perception du risque pour l’investisseur », détaille Maha Keramane, responsable « entrepreneuriat social » de BNP Paribas.

A ses côtés, intervient un évaluateur – généralement, un cabinet d’audit ou de conseil spécialisé dans la mesure de l’impact. KPMG, Kimso ou le plus récent cabinet Koreis ont investi le secteur. Consultant en impact social passé par KPMG et fondateur de la société Koreis, Adrien Baudet complète : « La première phase consiste à réaliser une étude de faisabilité pour vérifier que le projet peut entrer dans le cadre d’un CIS, car on reçoit énormément de demandes de personnes intéressées par les montants débloqués dans ces contrats. Vient ensuite l’“ingénierie évaluative”, pendant laquelle on établit quels outils doivent être déployés – à la fois des indicateurs et des processus de collecte de données. Puis, lors de la dernière phase, on mène des audits sur une base régulière pour regarder si les actions sont conformes à ce qui était prévu, si les objectifs sont atteints à la fin ; et, en parallèle, documenter le projet, suivre les bénéficiaires, voir si l’activité financée est innovante et si ce qu’il se passe est pertinent, grâce à des travaux de recherche. »

Ces intermédiaires font automatiquement monter l’addition. Leur rémunération est versée quels que soient les résultats du programme. Ces coûts, auxquels s’ajoute souvent la rémunération d’un cabinet d’avocats, sont calculés dans le budget total du CIS. Celui-ci comprend donc, en plus des sommes destinées à l’association prestataire pour décliner le projet, celles prévues pour le paiement des intermédiaires, qui ne dévoilent pas publiquement leurs prix.

L’idéologie de la mesure à tout prix a des limites. Elle prouve que la puissance publique ne veut plus subventionner des politiques dont l’impact n’est pas mesurable. Sur le papier, tout le monde s’accorde toutefois à dire qu’on ne mesure pas le social comme n’importe quel programme. « On sait que le social, comme le sanitaire ou l’environnemental se mesure sur le temps long », reconnaît Christophe Itier, haut-commissaire à l’ESS. « En effet, il a fallu trouver des indicateurs quantitatifs qui soient objectifs et partageables », complète Baptiste Cohen, en charge du volet social du CIS porté par les Apprentis d’Auteuil (voir page 11). Dans ce cas, les indicateurs reposent sur le nombre de placements d’enfants évités, mesurés douze mois après l’entrée dans le dispositif des maison-relais. « On a cherché à rentrer dans un autre cycle d’accompagnement, avec des échéances plus courtes », poursuit-il. Conséquence directe : une pression accrue sur les équipes ainsi que sur les familles. « Pression qu’elles ont déjà sur les épaules quand elles arrivent, car il faut chercher une solution plus pérenne à la sortie que celle qu’elles avaient à l’entrée », constate-t-il.

A la tête de La Nef, une banque pourtant éthique, Bernard Horenbeek n’a jamais été contacté pour investir dans un CIS. Lui critique le principe même du paiement au résultat. « Pour moi, tout l’“impact bond” consiste à dire que les travailleurs sociaux ne connaissent pas leur boulot, et qu’il vaut mieux faire confiance à des économistes et des financiers. » En 2016, dans un avis relatif à l’appel à projets « Social Impact Bonds », le Haut Conseil à la vie associative (HCVA) pointait quant à lui le risque que les financeurs soient « tentés de ne soutenir que des projets facilement évaluables, au détriment d’autres dont l’évaluation serait plus qualitative ».

Au sein même des promoteurs des contrats à impact social, le débat n’est pas tranché sur la mesure de l’impact et sur les outils pour y parvenir. Si le rapport « Lavenir »(2) prône « la simplicité », Adrien Baudet se montre critique : « A mon sens, lors de toute la première vague de CIS, on a monté des dispositifs d’évaluation très axés sur la logique de financement au résultat, avec une batterie d’indicateurs et d’objectifs à atteindre pour déclencher des remboursements, mais on a laissé de côté la logique d’expérimentation pour documenter ce qui fonctionne ou ne fonctionne pas. Même si elles sont onéreuses, je pense qu’il ne faut surtout pas oublier les analyses contrefactuelles qui permettent de savoir, par rapport à un groupe témoin ou à des statistiques nationales, si c’est bien mon action qui a eu un impact sur les bénéficiaires. Sinon, l’argent public vient rémunérer des effets dont on n’est pas sûr qu’ils aient été causés par le programme en question. »

Au sein de l’Institut Godin, spécialisé sur ces questions, Yannick Martell met en garde : « Les pouvoirs publics se posent la question de l’évaluation depuis des années, et on voit de nouvelles pratiques émerger, notamment avec les méthodes de randomisation (mises en lumière par Esther Duflot, prix Nobel d’économie). Mais des travaux critiques existent pour montrer qu’un groupe témoin ne l’est jamais complètement, et qu’il y a toujours du bricolage. Nous vivons dans un monde complexe, ouvert et systémique, dans lequel il est très compliqué d’isoler une variable. »

Encadrer, mesurer, changer d’échelle… La machine de l’évaluation est lancée, et tout laisse à croire qu’elle ne fera pas marche arrière. Le 2 juin, l’Union des employeurs de l’ESS (Udes) a lancé Valor’ESS, un outil de mesure de l’impact destiné à ses adhérents. Le présentant comme « un outil gratuit, léger et simple d’utilisation permettant d’initier les premiers pas d’une démarche de mesure de l’impact social », le site de l’Udes précise qu’il doit « permettre de valoriser les “externalités positives” de leur intervention […], d’interroger leur modèle et de s’inscrire dans des démarches d’amélioration continue de leurs pratiques » et, enfin, de « cultiver et valoriser le bénéfice social de leurs activités auprès de leurs parties prenantes ». « Dans la phase de relance qui nous attend, l’évaluation est un sujet sur lequel on souhaite accélérer », confirme Christophe Itier. Adossé au fonds de paiement au résultat, Valor’ESS devrait faire aboutir plus rapidement la prochaine vague de contrats à impact social. Dont une dizaine sont d’ailleurs en cours d’élaboration sur le territoire.