L'évaluation : une méthode et une éthique

« L'année 2007 a marqué une étape majeure dans la mise en place du dispositif institutionnel en vue des évaluations dans les établissements et services sociaux ou médico-sociaux. D'une part l'Agence nationale de l'évaluation sociale et médico-sociale (ANESM), créée en mars, est aujourd'hui en ordre de marche et son programme de travail atteste à la fois de ses ambitions et de son dynamisme. La constitution d'une équipe permanente, l'implication forte de l'ensemble des acteurs à travers le comité d'orientation stratégique et l'existence d'un conseil scientifique sont les garants de la pertinence et de la qualité de ses productions.

D'autre part, le décret relatif au cahier des charges en vue des évaluations externes est paru au Journal officiel du 16 mai dernier (3). Certes, les évaluations externes ne sont pas immédiatement à l'ordre du jour, mais ce décret réaffirme les indispensables articulations et la nécessaire cohérence entre les deux types d'évaluations prévues par l'article L. 312-8 du code de l'action sociale et des familles, et notamment le fait qu'elles portent sur les mêmes champs. Il est incontestable que son contenu jouera un rôle structurant pour l'ensemble du processus évaluatif.

Par ailleurs, de nombreux établissements et services ont engagé des processus dits « d'évaluation » mais dont la réalité recouvre aussi bien des démarches qualité, des certifications, l'élaboration de projet que des processus s'inspirant des méthodes d'évaluation de politiques publiques. Parallèlement, on assiste à la production de nombreuses méthodes «clés en main». L'examen des expériences de terrain comme des productions écrites (monographies, articles, ouvrages...) témoigne d'une grande hétérogénéité aussi bien théorique que méthodologique et pratique.

Cette situation est compréhensible. L'évaluation apparaît dans un contexte où l'action sociale est en butte à des critiques (sur son coût, son efficacité, sa légitimité). Elle connaît des transformations législatives importantes (loi 2002-2, loi du 11 février 2005 sur le handicap, loi du 5 mars 2007 sur la protection des mineurs...). Ses modes de gouvernance évoluent (acte II de la décentralisation, programmes interdépartementaux d'accompagnement des handicaps et de la perte d'autonomie [PRIAC], projet des agences régionales de santé). En outre, les établissements et services sont soumis à des obligations multiples : procédure budgétaire, rapport d'activité, élaboration d'un projet institutionnel avec de multiples déclinaisons, démarche qualité, multiplication des normes... Dès lors de nombreuses interrogations apparaissent à la fois sur la place que peut prendre le processus évaluatif dans cet enchevêtrement de procédures, sur son utilité, sa « plus-value » et sur les façons de faire.

La Société française de l'évaluation entend contribuer à cette nécessaire clarification en s'appuyant sur les expériences, réflexions et méthodologies issues du champ des politiques publiques, auxquelles tant le «guide de l'évaluation interne» élaboré en 2006 par le Conseil national de l'évaluation sociale et médico-sociale (4) que le décret de mai dernier font explicitement référence.

Il faut d'abord rappeler que l'évaluation n'est pas en soi un processus d'action même si elle contribue à la fois à améliorer le service rendu et à éclairer les décisions. Comme l'indique le décret du 15 mai, «l'évaluation doit viser à la production de connaissance et d'analyse». Evaluer un établissement ou un service implique donc de le questionner au vu d'un certain nombre de critères qui portent, notamment, sur la pertinence du projet et des objectifs au regard de la commande publique, de la cohérence de l'organisation et du fonctionnement, de la qualité du service rendu, de l'efficience dans l'utilisation des moyens alloués, de l'efficacité des actions conduites, de sa contribution aux missions d'intérêt général et d'utilité publique fixées par la loi.

Pour cela, la mise en place de l'évaluation va s'articuler autour d'un certain nombre d'étapes.

La première consiste dans la construction du questionnement. Elle est fondamentale. Elle se concrétise autour d'une question évaluative centrale, qui sera ensuite déclinée en questions secondaires. Cette question centrale concerne le «coeur de métier». Dans un établissement hébergeant des personnes âgées, celle-ci pourrait être : comment nos activités permettent-elles aux résidents de trouver une qualité et un sens à la vie ? Dans un IME : comment prenons-nous en compte les nouvelles orientations en matière de scolarisation suite à la loi de février 2005 ? Dans un service d'insertion professionnelle : qu'apportons-nous aux personnes accompagnées au-delà de la mise (ou non) à l'emploi ?

Puis on construit un système de questions articulées et hiérarchisées qui précise, illustre, affine cette question centrale. Cela permet de balayer l'ensemble des champs concernés par l'évaluation à travers un début de problématisation et facilite une analyse transversale (et non pas champ par champ) ainsi que la mise au jour d'une approche globale.

Il y a de fortes chances que, pour des structures ayant des activités semblables ou comparables, la question évaluative centrale soit proche, voire identique. C'est dans la déclinaison du questionnement, dans le mode de formulation et de présentation, que se manifesteront, à ce stade, les différentes particularités.

Ensuite, l'on détermine un cadre de références qui va permettre de définir des critères auxquels le questionnement va être confronté. Ces références sont de trois ordres : celles qui relèvent de la commande publique (lois, règlements, schémas, conventions...) ; les recommandations de bonnes pratiques professionnelles validées ou élaborées par l'ANESM ; des références propres à la structure évaluée (projet associatif, institutionnel, règlement intérieur, procédures...).

Puis il convient, pour renseigner ces critères, de collecter l'information à travers différents outils. Des indicateurs, certes, mais aussi de l'observation, des enquêtes, des entretiens, de l'analyse documentaire... Evaluer n'est pas mesurer. Bien sûr, la mesure est nécessaire, notamment à travers des indicateurs, même si tout n'est pas mesurable. Mais celle-ci ne peut constituer une fin en soi et elle n'a d'intérêt et d'utilité qu'autant qu'elle contribue à une appréciation qualitative des activités et des prestations. Comprendre ce qui se passe, ce que «produit» une structure, son utilité sociale, implique de se confronter à la complexité, d'appréhender ce qui est dit et ce qui n'est pas dit, de mettre en évidence les systèmes de valeurs, de représentations, de s'attacher aux questions de sens.

Enfin, ce questionnement doit être participatif si l'on veut avoir une vision « objectivée » de la réalité. Il ne s'agit pas seulement de constater des processus et des actions, mais de savoir comment les différents acteurs (professionnels, usagers, administrateurs, partenaires...) les perçoivent, les mettent en jeu, comment ils se positionnent. En ce sens, l'évaluation ouvre des espaces de parole et de débat. Elle n'a pas pour objet de dégager a priori un consensus ou une opinion majoritaire, mais au contraire de faire apparaître et de mettre en perspective les différents points de vue.

C'est à partir de cette approche du processus évaluatif que chaque établissement ou service peut ensuite définir une méthode de travail. Evaluer nécessite du temps. A la fois en consommation directe (groupes de travail, réunions spécifiques, temps d'entretien...) et en termes de temporalité : le processus doit durer suffisamment longtemps pour permettre une réelle appropriation collective de ce qui est dit, produit, analysé. Le choix d'une méthode de travail appropriée est donc essentiel.

L'animation du processus évaluatif est aussi une question importante. De ce point de vue, même en évaluation interne, sa mise en oeuvre nécessite un tiers capable de faire surgir ce qui ne se voit pas, ce qui ne se dit pas, de faciliter les échanges, de mettre en scène les paroles d'acteurs, de permettre un travail d'analyse, distancié des enjeux internes. Ce tiers peut être totalement extérieur à la structure, cela peut être un professionnel d'une autre structure, cela peut être un chargé d'évaluation interne. Ce qui compte, d'une part, ce sont les compétences (en matière d'action sociale et d'évaluation) et d'autre part l'indispensable indépendance vis-à-vis du commanditaire (organisme gestionnaire et direction).

Ainsi l'on peut constater que l'évaluation est une démarche particulière dont l'intérêt est multiple : connaissance de ce qui se passe ; mise en perspective des points de vue d'acteurs ; diagnostic partagé ; éclairage sur le positionnement stratégique et opérationnel ; examen critique du projet, des valeurs, des représentations ; aide à la décision, notamment en matière d'amélioration du service rendu...

La volonté de distinguer l'évaluation du contrôle, des processus budgétaire et d'allocation de ressources, de la certification, du suivi, du management, y compris des démarches qualité apparaît dans le « guide de l'évaluation interne » comme dans le décret du 15 mai. Elle ressort aussi d'une lecture attentive des débats parlementaires préparatoires à la loi du 2 janvier 2002.

La commande d'évaluation conduit donc à introduire une dimension nouvelle. Elle s'inscrit dans une volonté de transparence, à la fois de connaissance mais aussi d'obligation de rendre compte en termes d'efficacité et de qualité du service rendu, d'inscription dans un environnement et dans une politique publique. Mais elle offre également un cadre de renouvellement du dialogue, interne et externe. En effet, dans une période où la légitimité même de l'action sociale fait débat, dans une période où les approches économicistes et managériales tendent à prendre le pas, les acteurs, quels qu'ils soient, ont, avec l'évaluation, une indiscutable opportunité de placer les controverses sur le terrain de l'utilité sociale, des besoins des usagers et des réponses adaptées. »

Contact : pierre.savignat@laposte.net

« Le texte d'Yves Cathelineau ouvre à l'échange et à la confrontation des points de vue sur la dimension stratégique de l'évaluation. La question qui demeure, et qui fait débat parmi les professionnels du secteur social et médico-social, est celle des conditions de sa construction et de sa mise en oeuvre, qui méritent une attention particulière.

L'auteur centre son propos sur les «référents»responsables de la démarche d'amélioration de la qualité des services rendus aux usagers. Il leur attribue de nombreuses compétences spécifiques, leur conférant ainsi une fonction d'expertise.

Selon lui, le référent est exemplaire : il doit savoir construire un référentiel d'évaluation, recueillir les informations selon des méthodes adaptées, synthétiser et analyser des résultats, proposer, superviser, relancer, animer, organiser, etc. C'est le professionnel à tout faire de l'évaluation. Mais installer ainsi le référent dans une fonction pivot, c'est tout simplement faire l'impasse sur un nécessaire travail collectif de la pensée.

Le référent-expert, dit-il, tire sa légitimité de ses compétences spécifiques. Il sait, au nom d'une certaine science qui s'oppose au «culte du vécu». Je ne souscris ni à l'une ni à l'autre, préférant, pour ma part, l'inconfort d'une tension, d'une place mal définie, mouvante et incertaine, au carrefour d'un travail théorique constant et d'un nécessaire regard pluriel de tous les acteurs de l'institution. L'évaluation est l'affaire de tous au nom de l'instituant et au nom même des erreurs que nous sommes amenés à commettre. Ce n'est pas l'affaire d'un seul, maître d'oeuvre, fût-il référent-expert en quête d'une reconnaissance statutaire et fonctionnelle.

L'évaluation n'est pas qu'une question technique qui trouverait son aboutissement dans une méthodologie se voulant pragmatique et rationnelle au nom de l'efficience. Ce processus complexe, pluriel et polymorphe, que nous devons savoir interroger, est aussi idéologique et institutionnel (5).

Idéologique parce qu'il est partie prenante de la commande sociale et des normes de notre société d'aujourd'hui et qu'il ne peut s'en départir. Idéologique, aussi, par la mise en avant de la performance et de la rentabilité. L'évaluation ne peut se réduire à une machinerie faite de protocoles et de procédures si ces derniers ne sont pas la conséquence d'un large consensus issu de pratiques professionnelles qui ont fait sens et si n'existe pas une volonté permanente et collective de les interroger. Ce qui m'intéresse dans l'évaluation, ce n'est justement pas la partie visible, mesurable. C'est la partie invisible, souvent difficilement décelable, qui touche à l'histoire et à la singularité du sujet rencontré. L'évaluation ne se réduit pas au symptôme que, par ailleurs, on est chargé de traiter. Parler de la qualité des services rendus à l'usager, c'est aussi parler de la nature du lien qui nous unit à lui. D'où l'importance et la nécessité d'un travail clinique transdisciplinaire (psychique, social et économique) dans les institutions sociales et médico-sociales. Malheureusement, on ne peut que trop souvent constater l'absence de ce travail de la pensée dans les institutions.

Personne n'a le monopole de la relation à l'usager (pour ma part, je préfère le terme «personne rencontrée») et les professionnels n'ont pas attendu la loi du 2 janvier 2002 pour en prendre conscience. Travailler sur ce qui fait lien, sur nos représentations et nos limites est un acte professionnel que nous avons validé depuis longtemps, pourvu que l'on nous en ait donné les moyens.

L'évaluation est également une composante de l'institution. Elle dépend de son fonctionnement, de son organisation, de ses stratégies, de sa culture, c'est-à-dire de ses représentations. Poser la question de l'évaluation dans une institution, c'est d'abord poser la question du sens, donc des valeurs, celles qui ont présidé à la fondation de cette institution.

Affirmer que le référent doit mettre en oeuvre des principes de neutralité, d'indépendance et de participation démocratique est au mieux une naïveté, au pire une manipulation. C'est bien peu connaître le fonctionnement des institutions, où les marges d'autonomie et de réflexion des professionnels sont de plus en plus réduites. C'est ne pas tenir compte des enjeux, des alliances, des oppositions, des identités professionnelles qui régissent les rapports de communication entre tous les acteurs d'une institution.

C'est pour cela que j'ai affirmé qu'il ne pouvait y avoir d'évaluation sans définition préalable d'une éthique de l'évaluation. Cette démarche d'éthique suppose que les différents acteurs ont pu définir leur propre conception de l'institution. Il s'agit de s'instituer pour s'engager. Cette démarche est nécessairement collective dans la recherche du sens. Il faut penser l'institution et c'est là un travail de chaque instant qui ne peut se satisfaire de la seule évaluation managériale. Trop d'institutions se contentent d'une charte associative sans pour autant donner sens aux valeurs qui sont censées les avoir instituées, ni les transformer en actions.

La démarche d'évaluation interne que je propose consiste d'abord et avant tout à travailler avec les professionnels d'une institution sur leurs propres valeurs, sur celles qui les ont instituées, sur le sens qu'ils donnent à leur travail et naturellement sur la traduction qu'ils en font dans leurs pratiques. J'ajouterai que la charte des droits et libertés de l'usager est un fil rouge intéressant dans la traduction de ces valeurs. Dans cet accompagnement, il me paraît également essentiel de valider comme étant des «incontournables» les outils issus de leur référentiel pédagogique ou thérapeutique. Les modalités d'organisation, les protocoles, les procédures ne sont qu'une conséquence de ce qui précède.

Disons-le tout net. La démarche d'évaluation crée un marché. Que ce soit en matière d'évaluation interne ou externe, nous allons assister à une surenchère de propositions de formation. Des fonds importants, souvent issus de la formation continue, sont engagés pour mettre les institutions sociales en conformité avec la loi. Dans ce choix de formation, les institutions ont une responsabilité centrale : celle de ne pas se laisser embarquer dans une démarche d'évaluation qui privilégierait le factuel sur la question du sens. »

Contact : j.m.courtois@wanadoo.fr - www.jmcourtois.net

Jean-Michel Courtois Formateur et consultant