Regards croisés pour l'évaluation des chantiers d'insertion bas-normands

Le sujet préoccupe les acteurs de l'insertion depuis que la loi organique relative aux lois de finances (LOLF), entrée en vigueur il y a deux ans, retient comme principal indicateur de performance des structures de l'insertion par l'activité économique (SIAE) le taux de retour à l'emploi durable six mois après la sortie de la structure. Un taux fixé à 20 % pour les ateliers et chantiers d'insertion dans les projets de loi de finances pour 2007 et 2008 (1). Si tout le monde s'accorde sur l'importance de vérifier le bon usage des fonds publics par les associations, comment néanmoins apprécier leur coût réel sans tenir compte de la globalité de leur action sur leurs bénéficiaires et sur les territoires ? La question revient sur la sellette au moment où la délégation générale à l'emploi et à la formation professionnelle (DGEFP) mène un chantier sur la rénovation du conventionnement des SIAE et où un groupe de travail du « Grenelle de l'insertion » planche sur le pilotage et l'évaluation des politiques d'insertion (voir encadré, page 36).

Le Conseil national de l'insertion par l'activité économique (CNIAE) avait auparavant fortement nourri cette réflexion. Les réseaux, eux non plus, n'ont pas attendu pour avoir une idée sur la question. Depuis deux ans, l'association Chantier école Basse-Nor-mandie (2) expérimente un protocole d'évaluation qui devrait être élargi à l'ensemble des ateliers et chantiers d'insertion de la région en 2008 et progressivement proposé au niveau national aux adhérents de Chantier école. L'originalité de la démar-che, qui montre que les acteurs de l'insertion s'emparent d'autant mieux de l'évaluation qu'elle répond aussi à leurs attentes, est double : non seulement elle vise à mesurer les différents impacts sociaux et économiques des chantiers, mais elle permet aussi un regard croisé des bénéficiaires, des salariés permanents et des partenaires institutionnels - élus locaux et territoriaux, donneurs d'ordre et prescripteurs (ANPE, missions locales, centres communaux d'action sociale, Cap emploi...). Cette démarche « partagée » rompt avec les relations de défiance pouvant découler du simple contrôle. « Nous avons réfléchi à la manière d'articuler les différentes exigences de nos commanditaires, car les chantiers se situent à l'interface d'un grand nombre de politiques publiques - celles des conseils généraux, régionaux, de l'Etat -, sans oublier qu'ils sont issus à 95 % de la volonté des associations d'être impliquées dans le développement du territoire », souligne Philippe Louveau, délégué national de Chantier école.

Le projet est né en 2005 dans le cadre d'une démarche qualité lancée par la direction régionale du travail, de l'emploi et de la formation professionnelle (DRTEFP). « Nous avons proposé cette expérimentation comme axe de travail et celui-ci a été immédiatement accepté par la DRTEFP, explique Marie-Ange Le Gal, déléguée de Chantier école Basse-Nor-mandie. Les autres acteurs du comité de pilotage de la démarche qualité - les conseils généraux, les directions départementales du travail, la direction régionale des affaires sanitaires et sociales (DRASS), l'ANPE et l'Agefiph - ont également été associés. »

Chantier école Basse-Normandie monte en avril 2005 un groupe de travail avec une dizaine d'associations volontaires représentant les trois départements de la région (l'Orne, le Calvados, la Manche), qui se réunit pendant plus d'un an pour élaborer le protocole. Il commence par déterminer les sources d'évaluation possibles - en prenant soin d'y inclure les indicateurs exigés par les différents financeurs (Etat, Agefiph, conseils généraux...) -, construit un outil de recueil des avis des différents acteurs concernés et fait valider le protocole par le comité de pilotage. L'enjeu : favoriser à la fois l'évolution des structures et leur dialogue avec les institutions. « Toutes les définitions récentes, que ce soit celle de la Société française d'évaluation ou du décret sur l'évaluation externe de la loi du 2 janvier 2002 [à laquelle les SIAE ne sont pas soumises], insistent sur le fait que l'évaluation doit être un outil de connaissance et d'analyse pour améliorer le pilotage des politiques publiques, commente Laurent Barbe, consultant spécialisé dans les politiques publiques et l'action sociale, qui a co-animé la démarche. Evalue-t-on un hôpital sur le nombre de ses patients guéris du cancer ? Non, on regarde la qualité de sa réponse sanitaire et de son plateau technique. Or les chantiers accueillent des personnes qui n'ont parfois jamais travaillé et on attend qu'elles accèdent par miracle à un emploi, qui plus est dans un contexte d'offre restreinte. » Cette pression, accentuée par la réduction des contrats aidés, risque en outre d'inciter les structures à sélectionner leurs publics pour atteindre leurs objectifs chiffrés.

Le protocole d'une cinquantaine de pages élaboré par Chantier école Basse-Normandie croise quatre dimensions : l'insertion sociale et professionnelle des publics, les aspects de développement local auxquels contribuent les chantiers, leur apport aux dispositifs partenariaux du territoire et les efforts mis en oeuvre pour renforcer la professionnalisation de la structure. « Chacun des domaines a une influence sur l'autre, insiste Laurent Barbe. Les réussites ou difficultés de l'action vis-à-vis des bénéficiaires dépendent forcément du développement local ou de la qualité des relations partenariales de la structure, qui ont elles-mêmes plus ou moins d'effet sur les parcours.» Les situations des bénéficiaires au début de leur contrat sont décrites selon une série d'items tenant compte de l'environnement socioprofessionnel de la personne : son statut (bénéficiaire de l'allocation aux adultes handicapés ou placée sous main de justice par exemple), son ancienneté dans le chômage, son expérience professionnelle, sa formation, sa situation au regard du logement et de la mobilité. Les actions d'accompagnement social et professionnel et leurs modalités sont également détaillées, ainsi que les motifs de sortie du dispositif. L'avis des salariés en insertion est ensuite recueilli sur les actions dont ils ont pu bénéficier, celui des élus sur les effets sur le territoire, celui des partenaires sur la coordination et le partenariat et celui des salariés permanents sur l'organisation interne. Le recueil de tous ces éléments débouche sur une synthèse soumise à un débat avec les prescripteurs et les financeurs. Dernière étape : la définition collective des pistes de progrès pour la structure. « La légitimité d'une évaluation se fonde sur les échanges, la discussion contradictoire », argumente Laurent Barbe.

Autre intérêt de la démarche : elle a souligné les difficultés à mesurer l'ensemble des évolutions sociales des salariés accompagnés. Le protocole, en effet, tient compte d'éléments de parcours et de l'avis des bénéficiaires sur leur passage dans la structure. Mais les responsables du projet ont dû renoncer à livrer une synthèse chiffrée des progressions individuelles. « Quand les taux de remise à l'emploi sont faibles, les associations rétorquent souvent que les bénéficiaires ont tout de même fait des progrès, souligne Laurent Barbe. L'étape suivante aurait donc été en toute logique de créer un outil qui le prouve. Les personnes résolvent-elles leur problème d'alcool ? Vont-elles mieux ? Arrivent-elles plus souvent à l'heure ? Les chantiers sont dotés d'outils qui leur permettent de suivre l'évolution des personnes. Mais on ne peut pas additionner ce qui relève de ruptures individuelles. Cela reviendrait à ajouter des choux à des carottes et n'aurait aucune valeur en termes de résultats. »

Les résultats de l'expérimentation, qui s'est achevée début 2007, ont d'abord servi d'arguments pour les partenaires en amenant des éléments de quantification. Sur l'impact des chantiers sur les territoires, ils abondent en effet dans le sens des conclusions des travaux du CNIAE : l'activité des chantiers d'insertion est un investissement pour la collectivité. « Expliquer à un élu que 30 % de l'activité de l'association concourt au développement du tourisme et du loisir n'a pas la même répercussion que de lui dire «on vous a coupé de la ronce pour pas cher« », illustre Marie-Ange Le Gal. L'Association du bassin d'emploi de Carentan (ABEC), dans la Manche, emploie par exemple une vingtaine de salariés en insertion sur deux chantiers, l'un sur l'entretien des chemins pédestres et de rivières du marais de Carentan, l'autre sur la récupération et la restauration de meubles. Plus de la moitié de ses actions sont réalisées pour le compte de communes ou de communautés de communes. Malgré cela, « nous nous rendons compte que de nombreuses mairies ne connaissent pas notre travail et n'ont pas envie de nous faire travailler », en raison de préjugés sur le public en insertion et sur la valeur de leur travail, signale le rapport d'évaluation. « Nos interlocuteurs ont tendance à nous considérer comme des agents de paix sociale alors qu'en répondant à une conjonction de besoins, des publics et de la collectivité, nous faisons partie des acteurs de l'économie sociale et solidaire sur le territoire », défend Pierre Levallois, directeur de l'association Etre et boulot, à Honfleur (Calvados), qui comprend un chantier de retraitement textile, un jardin d'insertion et un chantier d'entretien des espaces naturels. En 2006, la structure a réinjecté près de 495 000 € dans l'économie locale du territoire en salaires et en achats, contre moins de 400 000 € d'aides publiques pour l'emploi. Le manque de valorisation de ces activités d'insertion, principalement menées en zone rurale, a abouti à la décision de plusieurs structures de lancer des opérations de communication, des événements de sensibilisation ou encore des projets de visites de chantiers pour les partenaires.

La parole des bénéficiaires a également permis de coucher noir sur blanc l'intime conviction des acteurs de l'insertion : le passage des publics très éloignés de l'emploi dans un chantier leur permet avant tout une revalorisation personnelle. Parmi les salariés accompagnés par ABEC en 2006, près d'un quart n'avait jamais travaillé. A la fin de leur contrat, 12 sont sortis de la structure, dont cinq ont décroché un poste, en contrat à durée déterminée de moins de six mois ou en contrat aidé dans le secteur non marchand. Mais tous les salariés interrogés reconnaissent avoir évolué sur le plan social, en ayant pu passer un permis de conduire, accéder à un logement, repris confiance en soi ou même « éviter de faire des bêtises ». Bref, des freins à l'emploi ont été levés. « L'avis des salariés a confirmé que nos actions ont un sens. Ils retrouvent une identité, un rôle social, explique Domitille Chenot, directrice d'ABEC. Depuis l'année dernière, un indicateur de 20 % de sorties positives est inscrit dans notre convention avec le conseil général. Or avoir un CDI n'a rien à voir avec le fait d'avoir une place dans la société.» Pierre Levallois regrette de la même façon d'être « évalué sur l'insertion professionnelle, alors qu'[il] travaille sur l'inclusion », reconnaissance sociale qui ne passe pas, insiste-t-il, par le seul statut de salarié : « En 2007, deux personnes sont sorties en ayant obtenu le statut de travailleur handicapé. Ce n'est pas comptabilisé comme une sortie positive, alors que nous avons assumé notre rôle pour des publics qui ne trouveront jamais une place dans le monde du travail. »

La prise en compte de nouveaux éléments d'évaluation permet de relativiser auprès des financeurs de faibles résultats en matière d'insertion professionnelle. Ainsi, les problèmes d'alcool ou les pathologies qui poussent certains bénéficiaires à interrompre leur contrat sont des ruptures de vie non mentionnées dans les indicateurs de sortie. Avec le protocole, « nous pouvons objectiver certaines réalités, comme les problématiques de santé », pointe Marie-Line Gicquel, responsable du bureau « insertion » au conseil général de l'Orne.

En leur ayant ouvert un espace de parole, la démarche a par ailleurs permis aux salariés en insertion de s'autoriser une lecture critique de leur structure d'accueil. L'expérience a souvent agi comme un révélateur. L'association Etre et boulot s'est ainsi aperçue que ses salariés en insertion, qui manifestaient en général une faible adhésion à l'accompagnement proposé, étaient au fond demandeurs d'un renforcement du suivi. « Ce paradoxe traduit une interrogation louable de leur part, explique Pierre Levallois. Titulaires d'un contrat de travail, ils ne comprennent pas pourquoi leur employeur leur demande de travailler sur un projet de vie hors de leur temps de travail. Nous avons donc facilité l'accès à l'accompagnement en l'organisant pour partie pendant le temps de travail, et non plus seulement en dehors de celui-ci. » L'association a par ailleurs développé les possibilités d'accéder à des formations externes. Autre paradoxe : « certains salariés en insertion jugent les entretiens individuels trop fréquents, relève Maude Gravey, conseillère en insertion professionnelle à Ose environnement, à Granville (Manche). Cette contradiction apparente confirme que notre rôle n'est pas seulement de mettre les personnes en situation d'emploi, mais de leur offrir un accompagnement beaucoup plus sur mesure. » Dans la même lignée, l'association a décidé de mettre en commun les dossiers des tuteurs, relatifs aux compétences et aux comportements, et les dossiers de la conseillère en insertion, afin de suivre de manière plus globale l'évolution personnelle de chaque salarié. Dans plusieurs structures, l'avis des bénéficiaires a également permis d'ouvrir le débat sur les conditions de travail.

Reste à savoir comment la démarche va pouvoir être généralisée. Les trois conseils généraux concernés par l'expérimentation ont donné leur accord pour que le protocole expérimenté soit étendu à l'ensemble des ateliers et chantiers de la région en 2008, y compris à ceux qui n'adhèrent pas à Chantier école Basse-Normandie. De son côté, le réseau compte mettre en place une formation sur cette démarche et propose un logiciel qui reprend en grande partie des indicateurs du protocole. « L'initiative nous paraît d'autant plus intéressante que, depuis 2005, le conseil général a mis en place une démarche d'évaluation de l'ensemble des actions d'insertion dans le cadre du plan départemental d'insertion, afin d'optimiser la cohérence des parcours, travaillés en lien avec les référents sociaux et professionnels », commente Marie-Line Gicquel, au conseil général de l'Orne. Seul problème : les associations qui ont expérimenté la démarche l'ont fait de manière volontaire. Dans quelle mesure proposer à des associations souvent étranglées par leurs contraintes financières un système exigeant en temps ? « Nous nous interrogeons sur la périodicité annuelle de l'évaluation, poursuit Marie-Line Gicquel. Il nous semblerait peut-être essentiel d'engager l'expérimentation sur l'évaluation des actions auprès des salariés en insertion par le recueil de leur avis. Nous nous interrogeons d'ailleurs sur notre capacité à exploiter toutes les dimensions de ce document, qui est intéressant, mais très lourd. »

Mais le véritable enjeu est de savoir si les indicateurs seront aussi jugés pertinents pour les financements. Il est trop tôt pour dire si la démarche pourra changer la donne sur ce plan. Nouvelle perspective cependant : les structures de l'insertion par l'activité économique seront bientôt soumises à un mode de conventionnement rénové par la DGEFP, qui prendra en compte de nouveaux éléments d'évaluation (voir encadré, page 36). « L'Etat nous propose de copiloter le CDIAE [conseil départemental de l'insertion par l'activité éonomique] en 2008. L'expérimentation permet d'ores et déjà d'impulser une dynamique partenariale, notre objectif étant de remplacer à terme la procédure actuelle d'évaluation par ce protocole », projette Marie-Line Gicquel. Avec, peut-être, la perspective de nouvelles bases financières proposées par l'Etat.

Etudes d'impact du Conseil national de l'insertion par l'activité économique (CNIAE) sur les territoires (3), initiatives de la Fédération Coorace, de la FNARS (Fédération nationale des associations d'accueil et de réinsertion sociale), ou de l'Agence de valorisation des initiatives socio-économiques (AVISE), qui vient de publier un guide sur l'évaluation de l'utilité sociale des entreprises de l'économie sociale et solidaire... Les réflexions ne manquent pas sur le sujet de l'évaluation des structures de l'insertion par l'activité économique (SIAE). Pour autant, « elles ne sont pas reconnues à leur juste valeur, regrette Jacques Dughera, secrétaire général du CNIAE. La délégation générale à l'emploi et à la formation professionnelle [DGEFP] finance ce pour quoi elle est faite : l'emploi, qui plus est dans un contexte de contrainte budgétaire. Mais le groupe de travail du «Grenelle de l'insertion» sur l'évaluation et les travaux actuellement menés par la DGEFP vont probablement permettre d'élargir le propos. »

Deux chantiers parallèles ont en effet été engagés par l'Etat, dont les enjeux rejoignent ceux de l'expérimentation en Basse-Normandie. Le premier porte sur la redynamisation des conseils départementaux de l'insertion par l'activité économique (CDIAE). Il s'agit, à partir de diagnostics territoriaux réalisés par les directions départementales ou régionales de l'emploi (activité, taux de couverture par rapport aux besoins et complémentarité des SIAE), de doter les CDIAE d'un outil de pilotage de l'offre d'insertion d'ici à la fin

de l'année et d'élaborer des plans d'action stratégique à l'échelle départementale. En Basse-Normandie, l'expérimentation est pleinement intégrée dans ce projet. « Nous avons inclu des éléments du protocole dans le recueil des données qui va permettre le diagnostic territorial », précise Edith Merle, chargée de mission à la direction régionale du travail, de l'emploi et de la formation professionnelle.

Deuxième chantier : le renouvellement des modalités de conventionnement des SIAE (qui passera par un nouveau dossier unique d'instruction), actuellement testées dans plusieurs départements avant d'être généralisées d'ici à 2009. Un référentiel type structuré par thématiques (accueil et insertion, accompagnement social et professionnel, formation, contribution à l'activité économique et au développement territorial), permettra de redéfinir l'offre de service des SIAE et les relations financières des structures avec l'Etat. « Ce nouveau conventionnement reposera sur la capacité des directions départementales et des structures à négocier un niveau de services, en fonction de l'activité de ces dernières mais aussi de leur contexte. C'est là que le protocole expérimenté est intéressant », explique Edith Merle. Reste que, bien qu'élargis, les indicateurs d'activité et de performance associés à ce référentiel ont toutes les chances de rester trop limités aux yeux des acteurs. La DGEFP n'a en effet pas accepté d'intégrer des critères qui mesureraient comment les actions des SIAE peuvent aussi lever des freins à l'emploi. Cette dimension relève-t-elle purement de l'action sociale ? Il semble que la diversité des indicateurs souhaitables prouve la nécessité de financements interministériels, demandés par les réseaux.