Où en est l'évaluation interne ? Le CREAI a mené l'enquête en Bourgogne

Alors que la date butoir de l'obliga tion d'évaluation interne des établissements et services sociaux et médico-sociaux n'a toujours pas été officiellement reportée - elle devait être réalisée avant le 1^er janvier 2007 -, chacun sait que le travail n'est encore que peu avancé. Pour faire un point plus précis, le CREAI (centre régional pour l'enfance et l'adolescence inadaptées) de Bourgogne (1) a lancé une enquête auprès de 316 structures, dont 167 (53 %) ont retourné un questionnaire exploitable en janvier 2008. C'est l'une des premières initiatives du genre, intéressante même si l'on peut regretter qu'elle n'évoque pas la participation des usagers (2).

Les structures interrogées relèvent soit du domaine du handicap, soit du secteur social (3), et le premier représente les trois quarts des réponses, preuve sans doute que l'évaluation interne est moins avancée dans le secteur social, estime Anne Dusart, conseillère technique du CREAI chargée de l'étude.

Parmi les répondants, 16 % déclarent avoir achevé leur évaluation, 19 % l'ont engagée, 28 % l'ont en projet - la plupart pour le courant 2008 - et 38 % n'ont encore rien prévu. Etonnant : plusieurs structures relevant de la même association et ayant accompli la même démarche qualité fournissent des réponses différentes à cette question, relève Anne Dusart. Signe que les intéressés ne savent pas clairement si le parcours réalisé pour une certification vaut évaluation au regard de l'administration.

Manifestement, des démarches assez différentes sont d'ailleurs regroupées sous le terme d'évaluation, puisque les durées s'étalent entre un mois et trois ans ! La majorité se situe dans un délai égal ou inférieur à un an.

Qui a lancé l'évaluation ? Parmi les 58 structures qui ont fait le travail ou l'ont mis sur le métier, c'est l'association qui a pris l'initiative (55 % des cas), le directeur ou son équipe (34 %) ou, dans quelques cas, les deux.

Autre indicateur du flou qui préside encore à la démarche : la grande diversité des référentiels utilisés - 11 sont cités, certains ont panaché plusieurs outils ou élaboré le leur - et l'indécision en la matière pour ceux qui en sont encore au stade du projet. Les moins dubitatifs sont les structures qui font partie d'une association ou fédération nationale (APF, APAJH, Fegapei...) et qui ont utilisé l'outil qu'elle propose. D'autres ont choisi le référentiel réalisé par l'association nationale des CREAI.

Deux structures évaluées ou en cours d'évaluation sur trois se sont fait accompagner. Les unes par un consultant ou un formateur de leur association, les autres par le CREAI ou un institut de formation de la région, d'autres encore par un cabinet privé, dans des proportions à peu près équivalentes.

A quel coût ? Toutes les structures n'identifient pas la dépense de manière précise et celles qui le font n'incluent pas le temps de travail fourni par leurs propres salariés. Dans ce cadre, sur les 36 réponses exploitables, 61 % situent la facture (logiciel et accompagnement) à moins de 10 000 € , 33 % entre 10 000 et 20 000 € et 5 % entre 20 000 et 30 000 € , ces dernières ayant réalisé une certification ISO s'étalant sur plusieurs années. Pour donner un ordre de grandeur, le CREAI Bourgogne facture ses prestations entre 12 000 et 16 000 € .

Comment la dépense est-elle financée ? Pour tout ou partie, sur le budget de l'établissement (38 %), sur le plan de formation (58 %), ou avec des crédits spécifiques de la direction départementale des affaires sanitaires et sociales ou du conseil général (19 %). Le plan de formation semble souvent mis à contribution, non seulement pour les formations à la méthode, ce qui serait normal, mais aussi pour la réalisation de l'évaluation, ce qui l'est moins...

Les résultats de l'enquête sont-ils ou vont-ils être diffusés ? Oui, auprès du personnel, dans 93 % des cas. Le rapport lui sera remis (50 %), ou bien une synthèse (24 %), à moins qu'il ne s'agisse que d'une communication orale (19 %). Les autorités de tutelle seront moins bien informées (43 %, toutes façons de faire confondues), le conseil d'administration à peine mieux (48 %) ! Seules 38 % des structures en parleront aux usagers ou à leurs familles et 19 % à leurs partenaires. Les suites données en matière de communication semblent donc « limitées », note l'auteur avec indulgence.

Pourtant, sur les 26 structures ayant terminé leur évaluation, 24 ont lancé un plan d'amélioration de la qualité, qui est en cours pour 18 d'entre elles et achevé pour deux. 11 prévoient même une évaluation annuelle à ce sujet ! 14 s'en remettent à l'échéance normale de cinq ans, tandis que deux comptent d'abord procéder à l'évaluation externe.

Malgré les difficultés de l'entreprise (« rude boulot », « chronophage », difficulté à mobiliser, pas de moyens dédiés) et les enseignements à en tirer (besoin d'organisation, d'explication, d'accompagnement...), les structures tirent un bilan positif de l'expérience. En terme d'acquisition d'une « culture de l'évaluation » pour certains, de mobilisation du personnel pour d'autres, de « retour utile » sur le fonctionnement, de travail sur les moyens de remédier aux dysfonctionnements, de réflexion collective, de formalisation de repères communs, de « régénération » du projet associatif et des projets d'établissement... L'enquête n'a révélé aucun « déçu de l'évaluation », relève Anne Dusart. A moins que les mécontents du rapport travail réalisé/bénéfices retirés ne se soient pas exprimés ? Logiquement, les heureux pionniers se montrent ouverts à l'expérimentation externe (une suite « logique » et « complémentaire ») et sereins, même s'ils citent de nombreux éléments d'incertitude sur la règle du jeu et le financement.

Quant à ceux qui ne se sont pas encore mobilisés, ils évoquent des motifs divers et cumulatifs : l'incertitude technique sur le référentiel, la méthode, l'accompagnement, l'attente d'une prise de position de l'ANESM (Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux), le coût de la démarche. Certains jugent aussi que « l'équipe n'est pas prête ». D'autres encore évoquent des difficultés momentanées (ouverture récente, changement de direction, déménagement, autres travaux en cours, synchronisation avec les autres établissements de l'association).

Au total, pour les pratiquants de l'évaluation comme pour les abstenants, « les attentes en matière de repères et de cohérence du dispositif sont manifestement fortes », conclut le CREAI.