Évolutions de l’infrastructure & de la bibliothèque numérique BVH | Bilan d’avancement 2022 : Volet ingénierie documentaire & numérique

Une importante part de l’année 2022 a été dévolue à la réflexion et à la modélisation de la nouvelle infrastructure informatique et par extension aux données du programme BVH, grâce au support des deux ingénieures d’études recrutées sur l’Equipex Biblissima+ (Anne-Laure Allain et Marlène Arruga). Si le cadre général et les briques logicielles à déployer étaient relativement bien identifiés, il restait encore à approfondir la veille sur les outils préexistants, à spécifier techniquement les besoins, les attentes et à développer les outils et scripts de transformations des données. L’objectif transversal était de construire un workflow pertinent et stable, pour fluidifier la production en interne des corpus et jeux de données (gestion des numérisations patrimoniales et des descriptions associées, enrichissement des bases de données iconographiques et bio-bibliographiques, éditions numériques XML-TEI…) tout en facilitant le dialogue avec les partenaires. La nouvelle plateforme BVH a donc pour ambition de s’adapter aux publics ciblés en proposant des fonctionnalités de recherche, d’exploration, de visualisation et de partage des données selon les principes FAIR ainsi, qu’à terme, un archivage s’inscrivant dans ces normes.

Deux actions majeures ont ainsi été poursuivies en 2022 :

– La modélisation des données BVH pour la description de livres anciens
– Le déploiement du protocole IIIF

Modèle de données BVH pour la description de livres anciens

Le travail de réflexion sur la nouvelle modélisation des données part du constat initial que la spécificité des BVH est de numériser et présenter des objets dans leur globalité et leur complexité. Notre démarche s’inscrit dans une plus vaste, celle de la Transition bibliographique. À l’heure actuelle, nous nous sommes arrêtés sur 5 niveaux de description : 1) l’œuvre, 2) la manifestation (ou édition), 3) l’unité bibliographique, 4) l’objet physique (ou exemplaire ou item), 5) l’objet numérique. Le recours au niveau de l’unité bibliographique s’est avéré essentiel. Il est le pivot de la nouvelle structure des BVH, un vecteur indispensable entre la description détaillée d’une manifestation (abstraite) et sa réalisation concrète dans un objet physique donné, avec ses lacunes et ses éléments ajoutés (décors, annotations, marques de censure…). L’œuvre, quant à elle, est l’un des principaux points d’accès pour l’usager qui effectue des requêtes. C’est un élément essentiel à l’interopérabilité. Elle s’appuiera surtout, dans un premier temps, sur des référentiels externes. L’ensemble de ces niveaux a pour but de conduire les utilisateurs vers nos objets numériques.

PostgreSQL a été choisi comme SGBD client-serveur. Open Source, il est reconnu pour sa robustesse, sa puissance et sa stabilité. Il est adapté à la gestion d’une grande quantité de données qui respecte au mieux les standards et normes ISO SQL. La première modélisation de la base a été réalisée au premier semestre 2022 par Sarra Ferjani (IGE CNRS, CESR) sur la base des discussions et des choix validés lors d’ateliers de travail hebdomadaires avec les membres et chercheurs impliqués de l’équipe BVH, amenés à alimenter et utiliser la bibliothèque virtuelle. La première version implémentée de la base et son schéma relationnel comprennent actuellement 76 tables. Ces dernières nécessiteront encore des aménagements et des ajouts de sections, notamment pour celles qui ont trait aux agents (gestion des personnes, institutions, etc.). Les spécificités de description des documents manuscrits et d’archives restent encore à approfondir. Néanmoins, ce premier jet a déjà permis de gérer les différents niveaux validés et de formaliser les liens/relations entre chacun d’eux. Cette complexité s’explique par la diversité de notre sujet d’étude et la nécessité de créer un système permettant de gérer la variabilité des cas.

Une fois la modélisation achevée et la base de données implémentée, un jeu de données test a été établi. Ce sont 62 notices de numérisations, déjà en ligne sur le site des BVH, allant du cas le plus simple au plus complexe, ont été retravaillées par Anne-Laure Allain (IGE Université /Biblissima+, CESR BVH) pour se fondre dans le nouveau modèle. Ces données, actuellement stockées dans des bases Access, ont été exportées dans un tableur, puis fortement redécoupées et enrichies afin de correspondre aux tables du nouveau modèle. Elles ont ensuite été importées dans la nouvelle base par Sarra Ferjani.

À partir de septembre 2022, Marlène Arruga (IGE Université / Biblissima+, CESR-BVH) s’est consacrée au développement des futures interfaces de consultation pour permettre à l’ensemble de l’équipe de visualiser les données, de discuter du modèle et également de vérifier les connexions entre les données. C’est le framework python Django qui a été retenu pour la rapide mise en place de son back-office et de ses interfaces. Ce choix s’inscrit dans une démarche plus globale au sein du CESR : créer un environnement technique commun et ainsi permettre une meilleure maintenabilité des systèmes par le pôle numérique.

En décembre 2022, le bilan est positif et encourageant : les tests n’ont pas fait ressortir de problème majeur dans la modélisation (ceux rencontrés ont permis d’avancer et de stabiliser le modèle). Nous avons pu également poser les bases du traitement des données (procédure de mise en place pour la migration des données, temps de traitement à envisager, etc.). Il conviendra donc en 2023 d’avancer en priorité sur la question des référentiels et de la connexion avec les autres bases de données produites au sein ou autour des BVH, ainsi qu’à fluidifier la circulation depuis la notice jusqu’à la consultation de l’objet numérique (amélioration des IHM, mise en œuvre d’un visualiseur IIIF interne aux BVH, etc.), de même que de concevoir les nouvelles procédures, outils et interfaces qui permettront d’alimenter cette nouvelle base de données. La définition des usages (et usagers) est centrale et complexe à accompagner, du fait  des changements induits dans la pratique des chercheurs pour la saisie des données, mais également des changements des modalités de navigation et de consultation des informations dans la bibliothèque virtuelle.

Déploiement du protocole IIIF & intégration au portail Biblissima+ (lot #1)

Les travaux initiés en 2021 (activation d’une Huma-Num Box pour l’archivage des images en JP2, prototypage des manifests et réalisation du scripts en Python nécessaire à l’extraction des données des bases Access) ont été poursuivis pour parvenir à la mise en place effective du protocole IIIF en décembre 2022, avec la configuration suivante :

En complément, des tests ont été menés pour comparer les performances du serveur IIIF en fonction de :

  • la puissance de la Machine Virtuelle
  • des processeurs image. Suite à la réalisation de tests comparatifs, notre choix s’est porté sur Grok (libre) contre Kakadu (sous licence commerciale) ou OpenJPEG (libre sous licence BSD mais avec de moins bons résultats)

Afin de s’assurer de la qualité des données livrées, trois vagues de vérification des manifests ont été menées (Anne-Laure Allain) avec, en parallèle, la correction des scripts de transformation (Marlène Arruga) sur un échantillon test. Elles se sont focalisées sur : la récupération des métadonnées, le bon ordre des images, l’affichage de l’intégralité des vues et enfin la correcte restitution des recueils factices. Ces allers-retours ont permis une amélioration significative des deux scripts (manifest et collection). Cette phase nécessaire, bien que chronophage, a permis de valider la conformité et d’entamer la génération d’un premier lot en vue de tester le moissonnage par Biblissima. Ce lot se compose de 186 manifests issus des dernières campagnes de numérisation (128 pièces numérisées dans le cadre du projet partenarial Biblissima « Bibliothèques Humanistes Ligériennes » et 58 pièces numérisées dans le cadre du projet CollEx-Persée « Bibliothèque de Raymond Marcel » ) répartis entre les bibliothèques suivantes :

Angers, Bibliothèque municipale5
La Flèche, Prytanée national militaire. Bibliothèque Henri IV10
Le Mans, Bibliothèque diocésaine2
Le Mans,  Médiathèque Louis Aragon111
Tours, Bibliothèque municipale58

Afin de faciliter les échanges et notamment la récupération des mises à jour des manifests, les BVH ont implémenté une autre API IIIF, Change Discovery (level 1) qui permet de mettre à disposition la liste de nos manifests, sous la forme de deux fichiers JSON.

Voir : Les BVH comme exemple d’entrepôts IIIF dans la documentation de Biblissima+ : https://doc.biblissima.fr/iiif/entrepots-iiif/#bvh-cesr

Fin décembre 2022, au terme du contrat de Marlène Arruga, le protocole IIIF était opérationnel au sein de l’infrastructure BVH et les 186 manifests ont été moissonnés par l’équipe portail Biblissima. Une quatrième vague de contrôle est entamée en janvier 2023 par Anne-Laure Allain, depuis l’affichage sur le portail Biblissima (vérification de la cohérence des métadonnées récupérées et de l’affichage dans Mirador). Elle a conduit à de nouvelles corrections autant en base de données que sur le script Python. Une fois cette étape achevée, l’ensemble des manifests erronés ou problématiques a été regénéré. Avec la fin de contrat de Marlène Arruga, un transfert de compétences a pu être fait a minima, appuyé par une documentation technique (wiki sur un GitLab Huma-Num). Néanmoins un temps d’apprentissage demeure nécessaire pour les membres de l’équipe encore en poste et impacte de fait la poursuite des travaux, et particulièrement le travail d’Anne-Laure Allain. Le planning et l’établissement des lots suivants à traiter pour le versement sous IIIF et dans Biblissima doivent être établis au 1er semestre 2023. La programmation dépendra de l’avancée du renouvellement des conventions de coopérations documentaires avec la quarantaine d’établissements partenaires co-détenteurs des numérisations BVH (plus de 1 300 pièces en ligne et ~400 en production ; selon la mise en œuvre du plan de gestion des données BVH en cours de rédaction, et autant que possible dans le le respect du PGD de Biblissima+).

Afin de préparer la mise en place d’un visualiseur compatible IIIF intégré au portail BVH (prestation 2023 sur crédits Biblissima+), une veille a par ailleurs été menée courant 2022 sur les différentes configurations utilisées par les bibliothèques numériques en complément d’un premier état des lieux sur les besoins des BVH en ce domaine (cf. supra : commentaire sur la définition des usages et usagers dans Modèle de données pour la description de livres anciens. L’avancée des travaux liés à la refonte de l’infrastructure BVH a fait l’objet de plusieurs présentations au cours de l’année 2022 par l’équipe d’ingénierie.

Voir : Anne-Laure ALLAIN, Marlène ARRUGA, Sandrine BREUIL, Sarra FERJANI. Évolutions de l’infrastructure & de la bibliothèque numérique. Assemblée générale du programme BVH, 25 novembre 2022, CESR, Tours.  https://bvh.hypotheses.org/8232#bilan_infra_2022

Voir également : Anne-Laure Allain, Marlène Arruga, Sandrine Breuil, Sarra Ferjani, Toshinori Uetani. Refonte de l’architecture numérique et du modèle de données du programme de recherche « Bibliothèques virtuelles humanistes » : état des lieux, problématiques et perspectives. Journées EVEille 2022. Écosophie du numérique : mettre en œuvre les principes FAIR(e) | Journée #1, Vendredi 21 janvier 2022. [vidéo & support en ligne] https://bvh.hypotheses.org/6923

Extrait du bilan 2022 rédigé dans le cadre de l’Equipex+ Biblissima+, rédigé par Anne-Laure Allain, Marlène Arruga, Sandrine Breuil, Sarra Ferjani.

Biblissima+ bénéficie d’une aide de l’État gérée par l’ANR au titre du « Programme d’investissements d’avenir », portant la référence ANR-21-ESRE-0005.


OpenEdition vous propose de citer ce billet de la manière suivante :
Sandrine Breuil (3 avril 2023). Évolutions de l’infrastructure & de la bibliothèque numérique BVH | Bilan d’avancement 2022 : Volet ingénierie documentaire & numérique. Bibliothèques Humanistes. Consulté le 15 mars 2025 à l’adresse https://doi.org/10.58079/m629


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.