Mesurer, évaluer, décider

J’ai assisté vendredi à la journée co-organisée par Médiadix et l’Urfist, « Mesurer, évaluer, décider : qu’en est-il des indicateurs statistiques en bibliothèques ? ». La présentation de la journée, qu’on peut lire sur le site de Médiadix, inscrivait la journée dans la mouvance de l’évaluation des politiques publiques, en particulier la question de la performance, à laquelle il incombe aujourd’hui à nos établissements de répondre :

« A l’heure de l’optimisation, de la performance et du resserrement de la dépense publique, l’évaluation statistique est devenue un impératif, socle de toute réflexion théorique et justification de toute action pratique. Désormais, tous les champs d’activités, qu’elles soient à visée sociale, politique ou culturelle, reposent sur des chiffres et des estimations de données quantitatives et qualitatives, y compris dans des domaines non marchands. »

La culture des statistiques n’est pas neuve en bibliothèque, où l’on mesure l’activité depuis bien longtemps. Ce qui est interrogé aujourd’hui, c’est ce que l’on mesure et à quelles fins.

Quelques notes, pas forcément très complètes, car prises en fonction de mes intérêts du moment. Les présentations seront prochainement en ligne sur la riche partie Ressources du site de Mediadix.

***

Afin de poser le contexte, Cécile Touitou est revenue sur les différentes normes sur lesquelles s’appuient les établissements depuis plusieurs années. On n’a pu que constater une évolution, de premières mesures de l’activité de l’établissement à des démarches plus neuves de quantification de l’impact des services sur les usagers. L’article de Cécile Touitou dans le BBF d’avril 2016, « Retour sur investissement, ou comment les bibliothécaires alchimistes transforment l’argent en matière grise », développe grand nombre des éléments qu’elle n’a fait qu’esquisser dans le temps qui lui était imparti.

Les statistiques produites dans les bibliothèques s’appuient essentiellement sur trois normes ISO. La 2789, en premier lieu, et elle est fondée sur des indicateurs d’activité, en se fondant sur les intrants (inputs), à savoir, les ressources nécessaires à l’activité (personnel, taille de l’équipement, etc.) et les extrants (outputs), c’est-à-dire la quantité de services produits (nombre de prêts, visites, usagers formés, etc.). Avec la norme ISO 11620, c’est déjà un changement de paradigme qui a été mis en œuvre. Désormais, on ne se borne plus à un dénombrement des ressources et des services, mais on tente de mesurer la qualité du service rendu, en s’appuyant sur des indicateurs de performance. En dernier lieu, la norme ISO 16439, dont un livre blanc présente les innovations et les nouvelles notions, s’attache à la mesure de l’impact, notion encore neuve dans le contexte français. Nadine Delcarmine, présidente de la commission de normalisation Afnor / CN46-8 et directrice adjointe du SICD Grenoble Alpes, résume ainsi la finalité de ce nouveau travail de la commission : « Parce que la reconnaissance de l’utilité de la bibliothèque ne fait pas/plus l’unanimité, cette norme a l’ambition de doter les professionnels mais aussi les décideurs et financeurs d’un éventail d’outils pour mesurer l’impact des bibliothèques sur leur environnement et contribuer ainsi à l’émergence d’éléments de réflexion pour éclairer les choix politiques. » (AFNOR / CN46-8, Ce qui se cache derrière ce mystérieux intitulé)

Cécile Touitou a donné de nombreux exemples en matière d’impact. J’ai noté celui du stress : j’emprunte quatre livres, je ne lis finalement qu’un seul chapitre d’un des quatre documents, et je réussis quand même à les rendre en retard. Voilà qui est de nature à créer un rapport anxiogène entre la bibliothèque et l’usager, ce dernier pouvant ressentir une certaine culpabilité d’avoir sollicité du personnel pour un seul chapitre lu. Quelle réponse de l’établissement ? Allonger la durée du prêt pour les ouvrages à rotation lente, par exemple ? Pour résumer, il s’agit de repenser la problématique de l’évaluation, qui n’est pas que compter, par une approche centrée sur l’empathie.

La norme 16439 a pour but de croiser les différents indicateurs évoqués brièvement ci-dessus.

« La norme recommande de s’appuyer sur trois catégories de données selon les modalités de leur collecte :

– les données induites (inferred evidence) des statistiques habituellement collectées par la bibliothèque dans le cadre de ses activités et suivies par la bibliothèque ;

– les données sollicitées (solicited evidence) : il s’agit d’informations ou de données que l’on va collecter auprès des usagers au moyen de questionnaires ou d’entretiens ;

– les données observées (observed evidence) qui sont le fruit d’observations dans le cadre de méthodologies inspirées de l’ethnologie. »

Qu’est-ce qui fait la valeur des bibliothèques ?, Livre blanc / AFNOR/CN46-8

L’approche UX, toujours elle,  a évidemment été évoquée. Elle remet en question les enquêtes et les focus groups, qui auraient trop de biais, selon Andy Priestner. Au contraire, l’UX s’attache à suivre l’usager et à l’observer.

Pour Cécile Touitou, les enquêtes permettent quand même de recueillir de l’information, du moment qu’elles sont croisées avec d’autres éléments. Une chose est sûre, la tendance est à délaisser les traditionnels indicateurs bibliothéco-centrés, pour se concentrer sur des indicateurs orientés usagers. Il est à noter que beaucoup d’études d’impact dans les pays où les bibliothèques doivent justifier leurs services.

***

La table ronde qui a suivi portait sur la mesure et l’évaluation dans le cadre du management et de la gouvernance. En introduisant la table ronde, Marie-Lise Tsagouria, directeur de la BULAC, a souligné que l’évaluation devait s’inscrire dans le schéma général du pilotage de la bibliothèque et que les indicateurs devaient être inclus dans ce périmètre pour faire sens auprès des équipes. Elle a ajouté que la communication vis-à-vis des équipes était primordiale, afin que les éléments de stratégie soient connus de tous.

Anne Verneuil, directrice des affaires culturelles à Anzin et responsable de la commission Advocacy de l’ABF a fait une intervention qui m’a tout particulièrement intéressée, intitulée « Du projet de service au tableau de bord ». Elle a expliqué comment, dans une ville avec un taux de chômage de 33%, il a fallu convaincre les élus que la médiathèque faisait sens et avait une utilité concrète pour la population. Elle a montré comment elle et ses équipes sont parvenus à construire un projet politique et à le traduire en un projet de service. Sa présentation est d’ores et déjà en ligne.

Marie-Christine Jacquinet a présenté le pôle de développement culturel des Yvelines, nouvelle entité qui fait suite à la fermeture de la BDP. Elle a précisé que la lecture est désormais considérée par le DGS du département comme un soft power, un soutien à l’action sociale du département. Les équipes, qui se réorganisent, fonctionnent aujourd’hui exclusivement en mode projet, car les financements en dépendent.

Odile Grandet, Inspectrice générale des bibliothèques, a pour sa part brossé un rapide historique des enquêtes en France. L’essentiel d’entre elles reposent, nous l’avons dit, sur des données d’activité. Si l’ESGBU a certes une visée comparatiste, en revanche l’enquête de l’observatoire de la lecture publique a davantage une visée photographique. Elle a également rappelé que l’évaluation de la bibliothèque, cette dernière étant un objet public, relève de l’évaluation des politiques publiques. Si la culture de l’évaluation est présente dans la profession, la difficulté réside dans l’absence de process, qui iraient des objectifs aux indicateurs. Il est en effet indispensable de concevoir les indicateurs au moment de l’élaboration du programme d’activité ou du programme scientifique et culturel.

***

La deuxième table ronde portait sur la mesure et l’évaluation du service au public : accueil et fréquentation. Christophe Evans, sociologue à la BPI, l’a introduite de manière provocatrice en citant le statisticien George Box, « Tous les modèles sont faux, mais certains sont plus utiles que d’autres. » Il a donné l’exemple suivant : l’activité de base ne reflète pas forcément la réalité des pratiques. Le dimanche est à la BPI le jour où il y a le moins d’entrées, en revanche c’est le jour où les services sont le plus utilisés. Le recueil des chiffres n’est donc absolument pas suffisant.

Cécile Avallone et Nolwenn Bouric, de la BDP du Val d’Oise, ont présenté l’étude « Les facteurs de réussite d’une bibliothèque », la première étude d’impact réalisée en France, sur le modèle de l’étude réalisée en Espagne par FESABID (la fédération des associations de professionnels de l’information espagnols). Nolwenn Bouric a rédigé un article à ce sujet dans le BBF d’avril 2016. L’étude constitue un véritable plaidoyer pour élus pressés ayant besoin d’arguments chics et choc : deux millions d’entrées par an sur le département, c’est plus que le parc Astérix ! Et ça marche, nous ont-elles expliqué.

Tiphaine Tugault, du SCD de l’UPEC, a présenté les résultats de l’enquête Libqual et ses enjeux pour le SCD. L’intervention était très intéressante et avait le mérite d’expliciter le questionnaire très touffu de Libqual, avec ses questions en trois temps, service minimum attendu, service observé, qualité de service rêvée. Ayant administré Libqual par le passé, je n’ai pas pris de notes, mais on trouvera des éléments sur l’enquête et sur ses résultats en 2013 sur le site du SCD de l’UPEC.

***

Pour la dernière table ronde de la journée, « Mesure et évaluation des usages : collections et services numériques », j’avoue avoir ralenti la prise des notes. Je retiens surtout l’intervention enthousiasmante de Thomas Jouneau, de la direction de la documentation et de l’édition à l’université de Lorraine.

Thomas Jouneau a commencé par présenter les différents modes de recueil de statistiques de consultation de la documentation électronique, reposant sur la norme COUNTER, sans oublier de mentionner les biais induits. Les enquêtes traditionnelles prennent en compte les usages sur les plateformes d’éditeurs, or de plus en plus les chercheurs consultent les articles scientifiques directement sur les réseaux sociaux de chercheurs comme Academia.edu ou ResearchGate. Pour tenter d’en savoir plus sur ce pan important des consultations, Thomas Jouneau a évoqué de nouveaux modes de recueil des consultations se fondant sur l’utilisation du DOI comme donnée pivot, de façon à permettre un décompte de l’usage dispersé des chercheurs (il s’agit d’un partenariat entre CrossRef, qui gère les DOI, et Counter).

Thomas Jouneau a manqué de temps pour présenter le projet ezAGIMUS. En farfouillant sur google, on trouve quelques éléments sur le sujet. AGIMUS est un outil qui permet l’analyse des services numériques des établissements (ENT, plates-formes pédagogiques) en les croisant avec les informations d’affiliation (LDAP, etc.). Croisé avec ezPAARSE, qui analyse les logs des accès à la documentation électronique, on obtient des données beaucoup plus fines sur les profils de ceux qui utilisent la documentation et sur leurs pratiques.

***

En vrac, quelques sites évoqués lors de la journée, figurant ou pas dans la bibliographie qu’on nous a remis, pas (encore) tous consultés.