« J’ai l’impression qu’on ne fait que parler d’impact social ces derniers mois » constate Mathilde Ardoin, chargée de mission « responsabilité sociétale des entreprises » (RSE) au sein de l’Adapei Loire-Atlantique (association départementale de parents et amis de personnes handicapées mentales). Longtemps apanage des entrepreneurs sociaux, cet outil de mesure a en effet la cote. Les cabinets de conseil spécialisés fleurissent, et, en septembre 2020, un think tank dédié à l’évaluation de l’impact des innovations sociales et environnementales a même vu le jour, sous l’impulsion de plusieurs universités parisiennes et du géant du social, le Groupe SOS (voir ASH n° 3209 du 14-05-21, page 6).
En pleine expansion, cette question s’invite ainsi particulièrement auprès des associations du secteur médico-social qui, pour un certain nombre d’entre elles, réfléchissent à réaliser des études qui leur permettraient de mesurer, indicateurs à l’appui, les changements qu’elles ont apportés sur un temps et un espace donnés. Si la production de ces études n’est, pour le moment, pas requise pour récolter des financements pour la protection judiciaire de la jeunesse (PJJ) ou lors des contrats pluriannuels d’objectifs et de moyens (CPOM) par exemple, ces données sont très prisées par divers bailleurs et les élus, qui ne se contentent plus des indicateurs de suivi traditionnels. « Dès que nous sommes en lien avec des collectivités, ils nous emmènent sur ce terrain. Ils ont la culture du résultat. C’est une révolution culturelle dans le secteur de la protection de l’enfance », raconte Adeline Dasnias, secrétaire générale de la Sauvegarde 26 (Drôme).
Et le phénomène pourrait même s’accentuer. « A mon avis, cela fera partie des demandes dans la réglementation dans les années à venir. Pas immédiatement, mais je dirais d’ici cinq ans », prédit Marie-Agnès Tur. Cette cadre de santé, qui a mis en place à la Croix-Rouge française en 2018 une cellule dédiée à l’impact social, est convaincue de l’importance de la démarche. « Si le changement n’est pas renseigné, on risque de penser que ce qu’on met en place répond au besoin social, ce qui n’est pas complètement le cas. On peut également se rendre compte que le projet n’apporte pas l’amélioration escomptée mais une autre à laquelle on n’avait pas pensé. Cela conduit à de l’innovation sociale aussi. Si on veut vraiment être dans une démarche de perfectionnement continu, je ne vois pas comment on peut se passer d’une mesure d’impact » insiste-t-elle.
Son équipe regroupe quatre personnes, aux compétences complémentaires : sociologie, analyse de données et traitement quantitatif. La cellule produit actuellement une poignée d’études, en collaboration avec les équipes de terrain. Elle développe aussi des outils et des formations pour, à terme, déployer ces études via le réseau de la Croix-Rouge. Il s’agit également pour l’équipe de se coordonner avec les autres fonctions support pour s’assurer de l’efficacité du processus : « Il existe déjà des dispositifs de remontée d’informations sur la qualité au sein de la direction de l’audit et du contrôle interne. Si nous intervenons sur un établissement qui entre dans des démarches de cette nature, nous allons en discuter avec eux pour essayer d’optimiser les canaux de communication. »
Cibler des indicateurs
Reste que la Croix-Rouge baigne dans cette culture depuis déjà près d’une décennie, ayant noué dès 2012 un partenariat de trois ans avec l’école de commerce Essec, berceau de la mesure d’impact en France, afin de réfléchir sur la problématique. A contrario, beaucoup d’autres structures du médico-social la découvrent et peinent à trouver les outils, pour réaliser ces études sur-mesure. En Loire-Atlantique, l’Adapei a participé l’an passé à la première d’entre elles, pilotée par l’Unapei, menée dans trois régions, pour connaître l’impact de leurs activités auprès des familles et des personnes accompagnées. La recherche a révélé une série d’indicateurs qui devraient être utilisés dans leur prochaine enquête de satisfaction. Mais, selon Mathilde Ardoin, il reste encore difficile à l’Adapei de réaliser ses propres travaux. « Cela demande du temps et beaucoup de moyens. Nous sommes financés par l’agence régionale de santé et le conseil départemental pour l’accompagnement des personnes en situation de handicap, et pas forcément dotés d’un budget pour les mesures d’impact », explique-t-elle. La chargée de mission compte toutefois bénéficier dans les prochains mois de la formation organisée par l’union des employeurs de l’économie sociale et solidaire, sur leur nouvel outil « Valor’ESS » (voir encadré page 30). Et ainsi pouvoir réaliser une étude d’impact sur les changements apportés par sa propre mission de RSE.
Marie-Agnès Tur le reconnaît elle-même, ces études, qui peuvent requérir entre trois mois et un an, demandent un important engagement de la part des organisations. « Je travaille sur ces sujets depuis trois ans et ma conclusion est qu’il y a un temps incompressible. Cela demande un investissement minimal et je pense qu’il faut l’avoir en tête. » Face à cette difficulté, elle recommande de bien cibler les indicateurs à analyser. « Il faut savoir être raisonnable sur la quantité d’informations recherchées. On veut souvent connaître tous les impacts du projet mais c’est vraiment quelque chose qu’on essaie d’éviter. A partir du moment où on va cibler seulement un ou deux changements, on approfondit et on se questionne sur les mécanismes qui ont conduit à la modification observée. »
Loi de nécessité
A la Sauvegarde de la Drôme aussi, on se penche sur la mesure d’impact. La secrétaire générale de l’association, Adeline Dasnias, et le chargé de mission « qualité/évaluation interne », Pierre Cochet, réfléchissent depuis un moment à réaliser une étude concernant la prévention spécialisée. Adeline Dasnias, formée à l’Essec, a été sensibilisée à ces questions et perçoit tout le bénéfice pour cette activité spécifique, « dont la finalité est vraiment tournée vers l’extérieur, au-delà de l’usager même » et dont les effets ne sont pas immédiatement visibles dans les grilles des référentiels tels qu’ils sont établis. Mais là encore, le manque de temps et de financements rendent la mission ardue et leur demandent davantage de temps qu’ils n’espéraient. « Nous nous étions rapprochés de cabinets spécialisés mais cela représente un coût trop important. Et, en interne, nous aurions besoin de chargés de mission dédiés spécifiquement à cette mesure, sur un temps donné, pour réaliser une cartographie, des rendez-vous partenaires, beaucoup d’entretiens individuels, des visites de terrain. Cela nécessite des ressources. » Or la prévention spécialisée en manque : la Sauvegarde de la Drôme a déjà perdu la moitié de ses équipes ces dernières années. « Pouvoir dire que cela coûte moins cher et que cela a un impact énorme est un enjeu politique. Le travail de ces équipes est fondamental, très complémentaire des autres modalités d’intervention de la protection de l’enfance. Mais les élus, qui ont parfois une vision un peu court-termiste, ont du mal à l’entendre. Aujourd’hui nous avons quelque chose à prouver, et c’est pour cela qu’on a beaucoup pensé à la mesure d’impact. Mais au-delà du financement de l’action en tant que telle, nous n’avons pas de marge de manœuvre. Nous n’arrivons déjà pas à financer tous les postes, alors financer un cabinet en plus, c’est compliqué. » Résultat ? Au-delà des appels à projets qui prévoient des lignes budgétaires spécifiques pour des évaluations et des études, la mesure d’impact se révélerait-elle non accessible aux activités sous-financées, qui pourtant nécessitent tout particulièrement de prouver leurs effets ?
Acculturer les équipes
La mesure d’impact génère indubitablement des débats au sein même des structures. Pour Marie-Agnès Tur, l’acculturation à la Croix-Rouge représente un « réel enjeu ». A la Sauvegarde de la Drôme, certaines équipes, comme en prévention spécialisée, se montrent beaucoup plus à l’aise avec la culture de l’évaluation et de suivi. « Leurs financements étant fragiles, ils sont plus mûrs que d’autres services classiques. La nécessité a fait loi. Ils ont failli perdre leurs équipes. C’est un enjeu de survie », raconte Pierre Cochet. Dans d’autres services, la culture du résultat questionne. « J’ai toujours entendu des anciens dire en protection de l’enfance : “On a une obligation de moyens mais on ne peut pas avoir une obligation de résultat.” C’est ancré dans les équipes », souligne Adeline Dasnias. Celle-ci a cependant bien conscience des bouleversements culturels que doivent affronter les travailleurs sociaux. « Ces questionnements sont légitimes. On les entend et on essaie de les accompagner. On souffre dans le secteur d’un manque de reconnaissance par la société. Aujourd’hui, tendre la main à un enfant ne suffit pas à donner de la valeur à ce que l’on accomplit. Avant, ça suffisait. »
D’autant plus que la crainte, à terme, est que la mesure d’impact ne devienne un nouvel outil de contrôle, qui conditionnerait le déclenchement des futurs financements. « Ce qui serait dommageable », insiste Marie-Agnès Tur. « Cela répondrait alors difficilement aux deux autres objectifs d’amélioration continue et de valorisation, et on n’irait plus sur les terrains risqués. Le droit à l’erreur n’existerait pas vraiment, et cela limiterait la capacité à l’innovation sociale. Tout calibrer à l’avance et conditionner l’aide à un référentiel trop rigide pourrait porter préjudice à la qualité de l’aide sociale. Cela doit devenir un outil de pilotage. »
