Evaluation dans les institutions sociales et médico-sociales : de quelques questions de méthode

« Un arrêté du 6 novembre dernier a fixé la composition du Conseil national de l'évaluation sociale et médico-sociale (CNESMS). Comme l'indique la fiche de présentation disponible sur le site Internet du ministère (2), "le travail en amont de validation des référentiels et des recommandations de bonnes pratiques sera une mission prioritaire ", les premières évaluations devant intervenir en 2007.

Ainsi va s'ouvrir un vaste chantier de construction méthodologique qui portera à la fois sur les outils et sur les prestataires, le CNESMS devant rendre un avis sur les organismes habilités à pratiquer les évaluations externes. Parallèlement, le gouvernement doit élaborer un décret définissant le cahier des charges imposé auxdits organismes. Ce document sera l'une des clés du dispositif puisque, de fait, il aura un impact réel sur les méthodologies retenues, les modes opératoires et les compétences requises pour procéder aux évaluations externes. On peut souhaiter que, même si la loi ne le prévoit pas explicitement, le CNESMS sera consulté sur ce document.

Il paraît donc important d'ouvrir un débat public, dont le périmètre ne peut être limité aux seuls acteurs directs du secteur et qui doit, entre autres, utiliser les apports de la communauté des évaluateurs et des recherches conduites notamment dans un cadre universitaire. La construction des outils d'évaluation nécessite également l'évaluation critique des outils.

Les institutions sanitaires, sociales et médico-sociales sont confrontées à une double injonction :mettre en œuvre des démarches qualité formalisées et procéder à l'évaluation de leur activité et des services rendus. C'est donc à la combinaison de deux démarches fort différentes dans leurs origines, leurs fondements, leurs logiques, leurs finalités et leurs méthodes, que sont appelés les acteurs concernés : l'assurance qualité, dont les concepts et les outils ont été établis dans l'industrie et le commerce ;l'évaluation, qui s'inscrit dans le cadre du management des politiques publiques. Dès lors, la réflexion doit articuler trois grandes questions : l'adaptabilité et la transférabilité des outils, les objectifs et les modes opératoires.

Si ces outils ont bien montré leur pertinence dans leurs champs d'origine, ils ne peuvent s'appliquer ipso facto dans celui des établissements et services sociaux et médico-sociaux. Le principe de base des démarches qualité, écrire ce que l'on fait, faire ce que l'on écrit et le prouver (norme ISO), par exemple, doit être affiné et adapté aux particularités d'un secteur où l'individualisation des prestations, le colloque singulier, l'application de cadres de références généraux à des situations concrètes et vivantes sont le lot quotidien des professionnels.

Dans le secteur industriel et commercial, nous sommes dans une logique linéaire qui part de la production pour aller vers le client à travers le produit. In fine, le marché constitue le "juge de paix" de la qualité et de l'efficacité. Dans le champ social et médico-social nous ne nous trouvons pas dans une logique de type linéaire, mais de type triangulaire, dans laquelle l'institution (à travers ses missions, ses valeurs, son projet, son organisation et son mode de fonctionnement), les personnels (à travers leurs différentes qualifications, leurs cultures et leur positionnement réciproque) et les usagers (à travers leur histoire singulière) interagissent. Dans ce cadre, les objectifs ne relèvent ni d'une logique de marché, ni d'une simple logique de satisfaction du "client" mais d'une transaction impliquant les trois sommets du triangle. De ce point de vue, d'ailleurs, l'essor des droits des usagers ne doit pas être compris comme un glissement vers une logique de quasi-marché (bien que la tentation existe d'aller vers un modèle de type néo-libéral). Il s'agit de faire participer pleinement l'usager aux débats et confrontations qui nourrissent cette transaction, de recueillir son avis, de l'associer, autant que faire se peut, aux décisions le concernant, dans le cadre des missions et des règles définies par les pouvoirs publics.

Dès lors, pour apprécier la qualité des prestations, il convient de faire appel à d'autres outils en s'inspirant des méthodes d'évaluation, tout en prenant aussi des précautions méthodologiques (notamment le fait que les établissements et services agissent dans le cadre de missions qui sont fixées à l'extérieur, par des décideurs publics et qu'ils ne sont qu'un maillon d'une politique publique).

La démarche évaluative présente l'intérêt de nous conduire à une approche globale permettant un réel jugement sur la valeur d'un établissement ou d'un service au regard de la commande publique, ou, en d'autres termes, sur son utilité sociale.

L'évaluation est tout à la fois une démarche, un questionnement, une production de connaissance, une aide à la décision. Le questionnement qui est à la base de la démarche s'opère à plusieurs niveaux : la pertinence du projet et des objectifs qui en découlent au regard des missions imparties ; la cohérence entre les missions, le projet, les objectifs et les moyens alloués et mis en œuvre ; l'efficience qui mesure les rapports entre les moyens et les résultats ; l'efficacité des résultats en fonction des objectifs.

Ainsi l'on perçoit l'articulation indispensable des démarches qualité, qu'il s'agisse d'une approche de type "assurance qualité" (c'est-à-dire de conformité à une norme) ou de type "amélioration continue" (démarche ascendante à partir de la constatation et de la résolution d'effets jugés indésirables) avec un processus évaluatif. En effet, la posture évaluative, par son approche globale, permet de les resituer dans une logique institutionnelle et d'éviter un phénomène de "désincarnation" leur faisant perdre toute notion de sens et de les articuler avec le projet et les pratiques professionnelles.

Il faut prendre conscience du risque réel de voir privilégier une vision restrictive de la qualité visant principalement à juger de l'efficience dans un souci de rationalisation des moyens ou de seule objectivation de l'allocation de ressources, en s'attachant essentiellement à la mise à jour de normes, plus ou moins contraignantes, d'organisation et de fonctionnement. Une telle vision repose sur l'idée implicite que la qualité de l'organisation et du fonctionnement, par ailleurs nécessaire, garantirait ipso facto la qualité de l'activité et des prestations. Or, dans le secteur social et médico-social, cette idée est plus que contestable. Elle est fausse et dangereuse.

Les procédures de certification prônées par certains acteurs risquent d'inscrire les pratiques dans cette vision réductrice. En effet, la certification peut être pertinente lorsque l'on envisage la qualité d'une automobile ou d'un hôtel mais, appliquée à nos secteurs, elle élude les questions relatives aux cultures, aux référentiels, aux missions, aux projets et aux pratiques professionnelles. Une telle réduction constitue en fait un double leurre. Pour les usagers, d'une part, puisqu'elle leur fait croire qu'un processus de type normatif (conformité à un ensemble de règles) suffit à leur garantir une réelle qualité de prise en charge (ou d'accompagnement). Pour les autorités publiques, d'autre part, puisqu'elle privilégie la forme au contenu. Elle est d'autant plus un leurre que les compétences des certificateurs dans le champ concerné ne sont pas posées comme un pré-requis indispensable.

La qualité d'une institution sociale ou médico-sociale résulte de la combinaison de l'ensemble des niveaux questionnés par la démarche évaluative, et pas seulement de la qualité (et/ou conformité) d'une organisation et d'un fonctionnement. Certes, l'analyse du fonctionnement et de l'organisation est incontournable, l'examen de leur degré de conformité à des normes (internes ou externes) aussi. Mais cette approche doit s'articuler avec les questions posées par les projets, les cultures, les représentations, les pratiques professionnelles. Autrement dit, l'appréciation des démarches qualité ne peut se faire qu'en relation avec les questions de sens et d'utilité sociale.

Cela pose une autre question essentielle : celle des qualifications et des compétences des évaluateurs, qu'il s'agisse de l'évaluation interne ou externe. En effet, ce travail va nécessiter un sens de l'observation et une maîtrise méthodologique, certes, mais aussi une capacité à décoder les dits et les non-dits (notamment lorsque l'on aborde les cultures ou les représentations). Cela implique que les évaluateurs externes disposent d'une connaissance, d'une expérience pratique et d'une culture avérée des secteurs évalués. Ces compétences seront décisives. Le risque est réel en effet, compte tenu du marché potentiel qui va s'ouvrir en 2007 (plus de 25 000 établissements ou services à évaluer, pour un coût moyen de 1 000 € par jour) de voir apparaître de solides appétits.

Les méthodologies restent largement à construire. Certes, des outils sont aujourd'hui utilisés ou en cours de construction. Ils sont le fait des acteurs eux-mêmes. Il est compréhensible et légitime que chacun le fasse à partir de ses propres objectifs, de sa propre culture, de sa posture particulière dans l'un ou l'autre des champs considérés. L'étude, par exemple, des documents produits par les principales fédérations (Ancreai, Uniopss, Snapei...) témoigne de la diversité des approches. Une évaluation critique de ces outils et des pratiques est sûrement l'une des premières étapes dans la mise en œuvre de ce dispositif ambitieux. »

Pierre Savignat Contact : Université Pierre-Mendès-France - Master EISA - BP 47 - 38040 Grenoble cedex 9 - Tél. 04 76 82 56 56 -pierre.savignat@laposte.net.