Evaluation de la qualité : des professionnels « désarçonnés »

ASH : Les évaluations des établissements à l’aune du nouveau référentiel de la Haute Autorité de santé (HAS) ont démarré. Comment se passe la mise en œuvre ?

Emmanuel Granger : Certains établissements se sont bien préparés à l’évaluation, tandis que d’autres beaucoup moins, voire pas du tout. Les attendus liés aux critères se rattachant à l’éthique ou à la bientraitance, par exemple, ne sont pas toujours bien compris. Le risque est alors que leurs réponses faites aux évaluateurs ne correspondent pas à ce qui est attendu. Et comme, lors des entretiens d’évaluation, nous ne pouvons pas trop expliciter les notions ou le vocabulaire utilisés – cela risquerait de biaiser les réponses ou nous engagerait dans une posture de conseil qui nous est interdite –, certains interlocuteurs peuvent être assez désarçonnés. Les ESSMS [établissements et services sociaux et médico-sociaux] sont parfois surpris par la nature des critères, et donc par les questions posées. En outre, les résultats ne reflètent pas l’intégralité de l’activité de l’ESSMS évalué, ce qui peut être frustrant. Enfin, l’évaluateur ne peut faire que des constats, ce qui n’aide pas toujours les ESSMS à identifier ou à comprendre les actions d’amélioration à envisager.

Laurent Barbe : Comme d’autres évaluateurs dans mon entourage, j’ai décidé de ne plus effectuer d’évaluations à l’arrivée du référentiel de la HAS. Car ce que l’on nous demande de faire n’est plus l’évaluation mais du contrôle qualité. Intégrer les pratiques de secteurs aussi différenciés dans un système identique de management de type ISO destiné à la production de biens et de services n’a aucun sens. Un tel système exige des normes bien trop précises par rapport à la nature et aux objectifs spécifiques du secteur médico-social. D’ailleurs, les structures ne comprennent rien à ce quiz et à ses critères. A vouloir couvrir la totalité du secteur social et médico-social, le référentiel en devient absurde. Il est incompréhensible, au vu des différences considérables qui peuvent exister dans l’action des services. Qu’est-ce qu’un projet « coconstruit » en protection de l’enfance, alors que les mesures de placement sont décidées par un juge ? Les missions des uns et des autres sont spécifiques et la qualité est à examiner dans un contexte qui leur est propre.

Avec ce nouveau référentiel, les pratiques d’évaluation ont-elles profondément évolué ?

E. G. : L’ancien dispositif d’évaluation était beaucoup trop « anarchique ». Les pratiques et degrés d’exigence des évaluateurs étaient disparates. Je trouve positif le fait qu’il y ait désormais une norme commune. Si, auparavant, les rapports d’évaluation que nous rédigions étaient consistants et valorisaient mieux les spécificités de chaque ESSMS, aujourd’hui, la démarche d’évaluation est officiellement plus structurée. Mais si l’on fait preuve de cynisme, on ne peut que constater qu’elle simplifie finalement notre mission au regard des rapports que nous avons à produire ! Le revers de cela est que certains s’estiment capables de réaliser des évaluations, sans pour autant disposer de toutes les expertises nécessaires. On peut également remarquer que les nouvelles modalités d’évaluation réduisent nos marges de manœuvre pour collecter les informations nécessaires. Par exemple, dans le cadre de la méthode de l’« accompagné traceur », nous sommes davantage limités en nombre d’entretiens avec les personnes accompagnées. Ces entretiens sont individuels et leur durée est calibrée. Les multiplier impacte la durée de la visite d’évaluation et son coût. Auparavant, nous pouvions rencontrer beaucoup plus de personnes, individuellement ou collectivement, ce qui permettait de collecter des témoignages sans doute plus représentatifs et d’aller davantage en profondeur.

L. B. : Les établissements vivent désormais l’évaluation comme une inspection, et c’est justifié. Rappelons que les cabinets sont nommés par le Cofrac [Comité français d’accréditation]« organismes d’inspection ». Ce fait n’est pas sans raison, et je trouve cela problématique. Dans l’ancien système, le recueil de la parole de la personne accompagnée n’était pas une vraie obligation, ce qui était aberrant. Aujourd’hui, cela devient systématique, et c’est un progrès. Mais avant il était possible d’interroger de manière plus large et plus ouverte que ce qui est préconisé aujourd’hui… Dans les précédentes évaluations, il était possible de valoriser de nombreuses dimensions qui n’apparaissent plus dans le référentiel aujourd’hui. A cela s’ajoute une logique de cibles, de cotations et de notes difficilement compréhensible pour les professionnels.

Les évaluations tiennent-elles compte de la question des moyens ?

E. G. : La vocation de l’évaluation n’est pas de « débattre » des moyens. Nous essayons néanmoins de les prendre en compte, mais les marges de manœuvre sont restreintes – notamment du fait du système de cotation lui-même. Nul doute que, pour pouvoir mettre en œuvre des pratiques et des organisations adaptées, il faut avoir du temps pour les penser, des moyens pour les mettre en œuvre et pour former les professionnels. Une minorité d’ESSMS, par exemple, ne sont toujours pas informatisés et une partie d’entre eux fonctionnent sans formaliser certains protocoles et procédures nécessaires à l’homogénéisation des pratiques. On attend d’eux des expertises et des prestations très précises, très « pointues ». Or les ESSMS peinent souvent à formaliser leurs savoir-faire, leurs méthodes d’accompagnement et de soins. Dans le prolongement de ce constat, un des chantiers prioritaires est celui de la formation, initiale et continue. Malheureusement, dans le contexte actuel de dégradation de l’attractivité et de pénurie de personnels, cela est rendu particulièrement difficile.

L. B. : La HAS a choisi d’ignorer que c’est l’ensemble d’un écosystème qui produit de la qualité. Or cette dernière dépend de plein de facteurs : des personnels, du management, mais aussi des modalités de tarification, qui peuvent énormément varier d’une structure à une autre, d’un secteur à un autre. De même, la qualité que produit un établissement peut considérablement évoluer dans le temps. Faire comme s’il s’agissait d’une compétence acquise ou non ne prend pas en compte la réalité des fonctionnements.

Ce nouveau mode d’évaluation risque-t-il de mettre en difficulté certains établissements ?

L. B. : J’en doute. On a bien vu ce qu’il s’est passé avec Orpea ! De toute façon, les cabinets ne possèdent pas de pouvoir d’inspection et il est possible de se préparer à ce type de contrôle… Par ailleurs, il y a fort à parier que de nombreux évaluateurs, pour éviter les problèmes, coteront les critères à 3 (« plutôt satisfaisant »), car une note de 1 ou 2 nécessiterait de prévenir les autorités, tandis qu’une note de 4 est critiquable car rien n’est jamais parfait.

E. G. : Je vois peu de risques à court terme. La tentation de coter la majorité des critères du référentiel à 3 peut exister chez certains évaluateurs. C’est la façon la plus « consensuelle » de procéder. Le système de cotation comprend cinq degrés. Du fait de son caractère peu explicite ou peu nuancé, il laisse finalement beaucoup de latitudes aux évaluateurs. Néanmoins, avec les nouvelles modalités, voire la perspective de la certification à un horizon de dix ou quinze ans, le réveil risque d’être difficile pour certains. Un bon nombre d’ESSMS n’ont réalisé qu’une seule évaluation externe sur la précédente période, contribuant ainsi à déliter la démarche qualité. Or, vingt-deux ans après la loi 2002-2(1), les postures et les pratiques ne sont malheureusement pas toujours en phase avec le cadre législatif et réglementaire.

Le référentiel peut-il faire progresser les établissements dans leurs pratiques ?

L. B. : Ce contrôle vise avant tout à rassurer les autorités. Il n’apportera pas un regard utile aux missions des structures, sinon à la marge. En se bornant à des procédures, le risque est que l’évaluation passe largement à côté des problèmes de fond auxquels les structures sont confrontées. Auparavant, on travaillait à ce que l’évaluation serve aux professionnels. Là, on est passé d’une démarche ouverte de questionnement d’un fonctionnement à des questions fermées, identiques pour toutes les structures. C’est pour cela que les professionnels ne s’y retrouveront pas. Pour certaines d’entre elles, le référentiel apparaît encore plus inadapté. Dans la prévention spécialisée, par exemple, comment le référentiel va-t-il aider à penser la mission d’« aller vers » ? Comment pourra-t-il prendre en compte les questions qui se posent dans l’aide contrainte ? Et comment pourra-t-on l’utiliser dans toutes les structures de type lieu de vie, ou encore dans les centres de ressources autisme ? Plutôt que d’adapter le dispositif aux actions, on demande aux actions d’entrer dans le dispositif.

E. G. : Malgré les problèmes de vocabulaire et de maîtrise de certaines notions, le référentiel peut être un bon support de réflexion sur les attendus, les logiques et enjeux qui sont désormais ceux du secteur social et médico-social. Il constitue un repère, ou une sorte de guide pour structurer le fonctionnement des ESSMS. Certes, les évaluateurs vérifient l’existence des éléments procéduraux, mais ils explorent aussi les pratiques. Le fait d’aborder, de manière détaillée, la mise en œuvre des droits et libertés, la réflexion éthique, l’évaluation des besoins et de certains risques pour les personnes accompagnées, l’élaboration et le suivi des projets d’accompagnement, l’évaluation de la douleur et les réponses qui y sont apportées, les risques en santé et en santé mentale, la façon dont les personnes accompagnées sont associées au fonctionnement de l’ESSMS, etc., sont des sujets très pertinents. Cela permet également de mesurer comment les professionnels appréhendent les missions de l’ESSMS et leurs fonctions, définissent leurs postures et leurs pratiques.

>>>> Sur le même sujet : Comment préparer une évaluation externe

Notes

(1) La loi 2002-2 du 2 janvier 2002 a défini et structuré l’action sociale et médico-sociale dans le but de promouvoir l’autonomie des personnes, la cohésion sociale, l’exercice de la citoyenneté, et de lutter contre les exclusions.

Vers plus de transparence dans les pratiques ?

Grâce à la grille commune d’évaluation, la Haute Autorité de santé disposera désormais de données générales sur le respect des différentes exigences du référentiel par les établissements et services sociaux et médico-sociaux. « Si nous voyons, par exemple, qu’un critère met en difficulté beaucoup de structures, nous pourrons nous auto-saisir pour élaborer des recommandations de bonnes pratiques », a expliqué Angélique Khaled, directrice de la qualité de l’accompagnement social et médico-social, lors d’un webinaire diffusé le 8 novembre.

Autre nouvelle donne, les résultats des évaluations doivent être publics. « Les rapports vont être publiés auprès du grand public, sur un site Internet », ajoute-t-elle. Les modalités précises de cette publicité sont en train d’être définies par la Direction générale de la cohésion sociale, qui prépare un décret à paraître au début 2024. Administrateur de la Fédération des aveugles et amblyopes de France, Bertrand Vérine accueille positivement la mise en place de ces « critères partagés, formulés », permettant d’ouvrir un dialogue d’égal à égal entre représentants des usagers et gestionnaires. Il alerte, cependant : « Plus le personnel passe de temps à produire des écrits, moins il en a pour s’occuper des personnes accompagnées. »