Archives de catégorie : ADHN

logo zotero

Zotero & Zettlr

Zotero est un logiciel de gestion de données bibliographiques gratuit et OpenSource qu’il est possible de combiner à Zettlr pour créer une environnement d’écriture complet pour la recherche.

L’installation de l’extension Better BibTeX pour Zotero (voir Prérequis logiciels) permet de générer des clefs de citations qui, dans les grandes lignes, assurent un lien entre les entrées de votre bibliothèque Zotero et votre environnement d’écriture Zettlr. Ce processus est donc comparable à celui des plugins Zotero pour Word ou LibreOffice.

Lier sa bibliothèque Zotero à Zettlr

Une fois l’extenstion Better BibTeX pour Zotero installée, il est nécessaire d’exporter votre bibliothèque afin que Pandoc Citeproc puisse en citer les références.

Sous Windows ou MacOS, sélectionnez dans Zotero la bibliothèque ou la sous-collection de références que vous souhaitez utiliser avec Zettlr. Cliquez sur Fichier puis Exporter la bibliothèque…. Sélectionnez Better CSL JSON comme format d’export et cochez la case Tenir à jour.

Il s’agit ensuite de lier votre bibliothèque à Zettlr.

Sous Windows ou MacOS, allez dans l’onglet Citations dans les Préférences de Zettlr. Cliquez sur l’icône page (📄) à droite du champ de saisie Fichier de références bibliographiques (au format CSL JSON ou BibTex).
Une boîte de dialogue apparaîtra alors pour naviguer vers le fichier .csl. Sélectionnez-le et Zettlr chargera automatiquement la base de références.

Dès lors, Better BibTex s’assurera de maintenir ainsi la synchronisation entre Zotero et le fichier .csl créé. Par conséquent, chaque changement effectué dans Zotero sera automatiquement et immédiatement mobilisable dans Zettlr.

Personnaliser les clefs de citation

Il est possible de personnaliser les clefs de citation à partir de l’onglet Better BibTeX dans les Préférences de Zotero. La génération des clefs se fait à l’aide de fonctions et de filtres dont on trouve une liste commentée sur le site du développeur (voir Documentation).

Fenêtre des Préférences de Zotero pour la configuration de Better BibTeX.

ATTENTION — La mise à jour des clefs de citation dans Zotero ne se fait pas automatiquement, mais manuellement.

Sous Windows ou MacOS, sélectionnez l’ensemble des entrées, puis Clic droit > Better BibTeX > Rafraîchir la clé de citation.
La modification peut prendre de quelques secondes à plusieurs minutes avant de s’afficher.

Les formats de fichier

GÉNÉRALITÉS

Définitions

Un fichier informatique est un ensemble de données constitué d’une séquence de bits, soit une séquence de 0 et de 1. La convention pour stocker les données dans un fichier détermine le format de celui-ci.

(Source : Bibliothèque et archives nationales du Québec)

Le format désigne la nature d’un fichier informatique et permet d’identifier le type de
logiciels nécessaire à sa lecture. Chaque fichier porte une extension généralement en
trois lettres qui indique le type de format. Exemple : titre_fichier.pdf. Plus
précisément, un format est un ensemble de règles formelles qui définissent comment
structurer, donner forme à quelque chose.

(Source : Xyoos)

Format et langage

Attention à la confusion entre format et langage informatique. Si le format est un ensemble de règles formelles, le langage est un format mis en œuvre par l’écriture. Les règles formelles sont traduites en règles d’écriture.
Exemple : On peut mettre un texte au format html et l’écrire en langage html. Mais tous les formats ne sont pas associés à un langage. Le format TEXT (.txt) existe ; toutefois, il n’y a pas de langage TEXT.

(Source : Arthur Perret, Cours sur le format texte)

Format et logiciel

Un logiciel est un ensemble de programmes informatiques couplés à une interface qui permet d’interagir facilement avec le logiciel. On attribue aux logiciels une licence d’utilisation qui peut être plus ou moins ouverte.
Un programme informatique est une suite d’instructions que la machine exécute. Il a deux caractéristiques :

  • des étapes : à chaque instruction il est possible de connaître l’instruction suivante.
  • une fin : la dernière instruction demande l’arrêt du programme.

Logiciel et format sont très liés. Le but du format est de structurer des informations avec des spécifications techniques pour que des machines, des programmes ou des logiciels puissent dialoguer.
De plus, certains logiciels sont créés pour lire un type de format. C’est le cas de Microsoft Word qui est programmé pour produire et ne lire que des fichiers au format .doc.
D’autres logiciels, plus ouverts, peuvent produire et/ou lire plusieurs types de format (par exemple, le logiciel VLC pour les formats audio et vidéo).

Typologie des formats

  • Format ouvert : Sa description est publique. Aucune disposition légale ne s’oppose à sa libre utilisation. Il est interopérable : possibilité d’utiliser plusieurs logiciels pour le créer, le lire, le modifier.Il peut être normalisé par un organisme de normalisation comme ISO, AFNOR, W3C.
  • Format fermé : Sa description est secrète ou des dispositions légales peuvent en restreindre l’utilisation. Il est souvent associé à un seul logiciel.
  • Format propriétaire : Ses spécifications techniques appartiennent à l’entreprise qui l’a créé. Il peut être ouvert ou fermé.
  • Format standard : Format dont la grande popularité le rend standard. Mais il n’est pas normalisé.
  • Format conteneur : Il contient et fait fonctionner ensemble plusieurs types de données. Exemple : données audio + données vidéo + données sous-titre dans un conteneur vidéo comme MP4 ou MOV.

Le format idéal

Il est :

  • Ouvert
  • Normalisé (si possible)
  • Facile à transformer (migration)
  • Indépendant (vis-à-vis d’autres formats, d’un matériel particulier, d’une entreprise)
  • Compatible (avec de nombreux logiciels et systèmes d’exploitation)
  • Largement diffusé

Le poids du fichier

Le bit est l’unité de mesure minimale en informatique. Il ne peut exprimer que deux valeurs (0 ou 1).
Il est notamment utilisé pour exprimer la vitesse de connexion à l’internet (bps).

L’octet (1 octet = 8 bits). C’est l’unité mesurant la taille ou le poids d’un fichier informatique. Sa mission : stocker un caractère (chiffre, lettre, symbole,…).
Unité de petite taille, plus souvent exprimée en Ko, Mo, Go.

Conversion des unités de mesures :

  • Kilooctet (Ko) = 1000 octets
  • Mégaoctet (Mo) = 1000 Ko
  • Gigaoctet (Go) = 1000 Mo
  • Teraoctet (To) = 1000 Go
  • Petaoctet (Po) = 1000 To
  • Exaoctet (Eo) = 1000 Po
  • Zettaoctet (Zo) = 1000 Eo
  • Yottaoctet (Yo) = 1000 Zo

Capacité de stockage moyenne des appareils :

  • ordinateur : de 500 Go à 4 To
  • clé USB : de 8 à 200 Go
  • disquette : 1,4 Mo

Poids moyen des types de fichier

  • fichier texte : 50 Ko
  • fichier audio : 4 Mo
  • fichier image : 6 Mo
  • fichier vidéo : 700 Mo

Quelques questions à se poser en matière de format

  • Quelles données vais-je utiliser pendant ma recherche ?
  • Quels formats de fichiers puis-je utiliser ?
  • Quels logiciels vais-je employer pour traiter/analyser mes données ?
  • Quels formats d’entrée ces logiciels acceptent-ils ?
  • Comment vais-je stocker mes données pendant la recherche ?
  • Sur quel appareil (disque dur, serveur de l’université, cloud, etc…) ?
  • Quelle est la capacité de stockage de cet appareil ?
  • Que vais-je faire de mes données à la fin de ma recherche ?
  • Comment vais-je les archiver ?
  • Sur quel support/entrepôt : personnel, institutionnel ?
  • Quels formats de fichier sont acceptés sur ces supports, ces entrepôts ?

Sources & ressources

FORMATS AUDIO, VIDÉO & IMAGES

Formats audio

Le critère de qualité audio est le débit à la seconde ou kbit/s.
Il se calcule en fonction de la résolution : 16 bits, 24 bits, 32 bits, etc. et de la fréquence d’échantillonnage : 44,1 kHz
Plus ces chiffres sont élévés, plus la qualité est bonne mais pas forcément perceptible par l’oreille humaine.
Comparaison avec la qualité CD : 16 bits, 44,1kHz.
Attention : l’enregistrement d’origine détermine la qualité de l’audio.

Codec : permet d’encoder (compression) et de décoder (décompression) des flux audio => Contenu. Exemples de codecs : Vorbis, FLAC, ALAC, AC3, OPUS, AAC, WMA, ATRAC.
Format conteneur : permet de stocker des flux audio (ou vidéo) => Boîte. Exemple de formats conteneurs : WAV/WAVE, AIFF, OGG, ASF, CAF, AU.

La combinaison d’un codec et d’un format conteneur donne un format audio.
Parfois codec et conteneur portent le même nom (FLAC).

  • Format sans compression :
  • PCM (= CD)
  • Formats de compression sans perte (lossless) – même qualité sonore que le CD :
  • FLAC (ouvert)
  • ALAC (Apple)
  • Shorten
  • WMA Lossless
  • ATRAC Advanced & lossless
  • Formats de compression avec perte (lossy), irréversibles :
  • MP3
  • AAC (Apple)
  • WMA
  • OGG VOBIS (ouvert)
  • OPUS
  • AA
  • ATRAC
  • AC-3

Ex : le format conteneur WAV peut contenir des flux MP3, etc. Le plus souvent, il contient de l’audio sans réduction de données (PCM).
Convertir un format MP3 en format WAV n’améliore pas la qualité sonore.

Formats vidéo

  • Codecs : permet d’encoder (compression) et de décoder (décompression) des flux audio et vidéo => contenu. Exemples de codecs : M-JPEG, AVCHD, DNXHD, H.264/H.265, OGG Theora, ProRes.
  • Formats Conteneur : permet de stocker des flux audio, vidéo, des sous-titres, des métadonnées => boîte. L’extension du fichier indique le conteneur (ex : .mov). Exemples de formats conteneurs : MP4, AVI, MOV, MXF, 3DP, 3G2, MTS/M2TS/TS Matroska.

La combinaison d’un codec et d’un format conteneur donne un format vidéo.
ex. : MP4 H.264 ou Mov ProRes.

Il existe deux types de formats de compression vidéo :

  • Formats de compression IntRA-trame
  • Compressent les images individuellement.
  • Souvent de meilleure qualité
  • Formats orientés production
  • => Codecs utilisés : M-JPEG, ProRes, DNxHD/DNxHR
  • Formats de compression intER-trame
  • Stockent certaines images entièrement et en compressent d’autres.
  • Donnent des fichiers plus petits
  • Formats orientés diffusion
  • => Codecs utilisés : H.262, H.264, H.265, OGG Theroa, MPEG-2

Formats images

Définition : une image numérique c’est une image acquise, créée, traitée ou stockée sous forme binaire.

  • acquise par des machines telles que : scanner, appareil photo, caméscope numérique
  • créée par des programmes informatiques
  • traitée par des outils informatiques (modifications de taille, couleur, ajout ou suppression d’éléments, de filtre).
  • stockée sur un support informatique (disque dur, clé USB, serveur, etc.)
  • L’image peut être numérisée ou nativement numérique.
  • Il y a deux types d’images numériques : les images matricielles et les images vectorielles.

Image matricielle.
Elle est composée d’une grille dont chaque case ou pixel a une couleur propre. Plus il y de pixels, plus la qualité est bonne.

  • Les + : haute définition des couleurs et de la luminosité, chaque pixel peut être retouché.
  • Les – : perte de qualité en cas d’écrasement ou d’étirement de l’image, la compression peut causer une perte de qualité, taille de fichier plus élevée, vectorisation difficile.
  • Les formats : TIFF, JPG, JPEG, PNG, BMP, MNG, TGA, OpenEXR, FITS

Image vectorielle. C’est une image numérique composée de formes géométriques individuelles, chacune définie par des attributs de couleur, taille, position.

  • Les + : possibilité d’écraser ou d’étirer l’image sans perte de qualité, compression sans perte, taille de fichier plus faible, possibilité de retouche sur-mesure, facile à convertir en image matricielle (rastérisation).
  • Les – : pas adaptée aux images complexes ou en haute définition, l’enregistrement nécessite une rastérisation.
  • Les formats : SVG, VML, SWF, AI, EPS, DXF, CDR, WMF, Silverlight.

Arrêt sur l’IIIF – International Image Interoperability Framework.

Il s’agit d’une communauté et d’un ensemble de spécifications techniques visant à créer un cadre technique d’interopérabilité pour la diffusion d’images haute résolution sur le Web.
Depuis plusieurs années, les bibliothèques numériques se multiplient. Elles mettent à disposition sur le Web une masse de plus en plus importante de reproductions (manuscrits, imprimés, cartes, documents d’archives, photographies, etc.). Toutefois, la création de ces entrepôts d’images s’est effectuée sans véritable coordination technique. Il en résulte que :

  • chaque entrepôts fonctionne en silo, il n’y a pas d’interopérabilité.
  • chaque institution a développé son propre visualiseur ce qui est coûteux à concevoir et à maintenir et rend chaque application unique.
  • l’utilisateur doit donc s’adapter à chaque application, à son environnement et son interface de consultation propre.

Face à ce constat, le IIIF entend favoriser l’interopérabilité des bibliothèques numériques, et ainsi enrichir et faciliter l’expérience utilisateur en terme de visualisation et de manipulation des images.
Exemples d’usages permis par le cadre technique d’IIIF :

  • Annoter une carte numérisée disponible sur un site web, mais à l’aide d’un outil d’annotation développé sur un autre site web.
  • Créer une collection d’images issues de plusieurs sources
  • Inspecter et comparer les mains de manuscrits issus de différents entrepôts numériques.

l’IIIF développe des API partagées. Elle les implémente dans des logiciels. Elle expose des contenus interopérables sur le web.
Il existe 4 API IIIF stables :

  • API Image. Elle spécifie une syntaxe qui s’applique à deux requête pour une même image : la requête de l’image elle-même (fichier image) ; la requête d’informations techniques sur l’image (fichier JSON)
  • API Presentation. Elle spécifie les informations nécessaires à la présentation d’un objet numérique dans une interface de visualisation. Son but est d’améliorer l’expérience utilisateur. Elle joint la structure et les métadonnées à un objet et définit comment elles apparaissent dans un visualiseur
  • API “content search”. Elle spécifie la manière dont se fait la recherche au sein du contenu textuel associé à un document numérique représenté selon les principe de l’API Presentation (dans la transcription ou l’OCR du texte par exemple).
  • API Authentification. Elle définit à quel endroit ou par qui les images peuvent être vues. Elle définit des scenarii d’interaction entre un client et des systèmes d’authentification.

LES FORMATS TEXTES

Le format texte ou texte brut ou plaintext

Un fichier au format texte (.txt) ne contient que des caractères textuels (par opposition aux pixels et aux sons).
C’est un méta-format utilisable pour créer des fichiers dans toutes sortes de formats plus spécifiques comme les formats html, markdown, xml, ou TeX.
Un fichier au format texte ne contient pas de mise en forme, ni de mise en page. On ne peut choisir ni la police de caractère, ni la taille, ni la couleur. On ne peut pas gérer les interlignes, les sauts de pages, les marges, etc.
Ce format peut servir à écrire du texte scientifique mais aussi des programmes informatiques.
Il fonctionne avec un type de logiciel, l’éditeur de texte (Notepad ++ ou TextEdit).
Un caractère peut être une lettre, un chiffre, un signe de ponctuation, un symbole, etc.

Arrêt sur l’encodage

Les caractères sont traduits/encodés en octets. L’éditeur de texte décode ces octets pour afficher les caractères correspondants. Cette encodage peut prendre plusieurs formes.
Le codage ASCII : le premier et le plus basique, établi à partir de l’anglais, il ne comprend que 128 caractères.
Il ne permet pas de coder les caractères accentués ni les autres alphabets et systèmes d’écritures.
Pour cela, on utilise le codage UTF-8 qui code tous les caractères Unicode (des milliers) et qui inclut le codage ASCII.
En ouvrant une page web, si on tombe sur ce genre de chose “caractères “, ça signifie qu’il y a un problème de codage. La page est encodée avec un type de codage et notre navigateur essaie de la décoder en suivant un autre type de codage.
Quand on utilise un éditeur de texte, privilégier l’UTF-8.
Bon à savoir : Comme l’ASCII est le plus largement partagé, quand on nomme un fichier, il faut éviter les espaces, les caractères spéciaux et accentués.

Le format texte enrichi

A l’inverse du texte brut, le format texte enrichi contient la mise en page et la mise en forme. Ce type de format s’obtient en utilisant un logiciel de traitement de texte, du type Word ou OpenOffice Writer (.doc, .odt, .docx). Ces types de formats ont été conçus pour une utilisation bureautique. Ils sont moins adaptés à l’écriture scientifique et de plus en plus critiqués par les chercheurs.

Les principales critiques :

  • conviennent peu à l’écriture scientifique
  • inadaptés à la communication sur le web
  • certains formats sont propriétaires (.doc.)
  • Ils sont plus lourds que le format TEXT (.txt)
  • Risque pour l’usager de confondre rendu graphique et structure du texte => la structure à un sens ; le niveau des titres témoigne du processus de raisonnement.

WYSIWYG : What you see is what you get. Logiciels dont l’interface donne à voir à l’écran le document tel qu’il sera publié. Les traitements de texte sont des WYSIWYG.

Arrêt sur le format PDF

Le PDF “Portable Document Format” est un format de diffusion. Il permet la lecture d’un fichier texte en préservant sa mise en page et sa mise en forme quel que soit le logiciel ou le système d’exploitation. Format normalisé, il est très utilisé pour la transmission et l’archivage des documents.
Le PDF peut être créé à partir d’un éditeur de texte ou d’un traitement de texte. Dans ce cas, il est nativement numérique. Il peut également être créé à partir de l’image numérisée d’un texte. Dans ce cas, il y a deux sortes de PDF :

  • Le PDF qui correspond à la simple image numérisée. Dans ce cas, il est impossible de sélectionner une partie du texte numérisé.
  • Le PDF dont l’image numérisée a reçu un traitement de reconnaissance de caractères (OCR). Autrement dit, on ajoute une couche de texte à l’image numérisée. Dans ce cas, il est possible de sélectionner un extrait du texte.

Plaidoyer en faveur du texte brut

  • Léger en termes de stockage
  • Format libre, utilisable avec des logiciels libres
  • Garantit une certaine pérennité
  • Interopérable
  • Adapté à la gestion des versions
  • Permet de se concentrer sur la structure du texte

SOURCES ET RESSOURCES

Généralités :

Les ressources institutionnelles françaises :

  • CINES : Centre informatique national de l’enseignement supérieur
    Plateforme d’archivage de l’enseignement supérieur. Il fournit un tableau des formats acceptés et un outil de vérification de l’éligibilité des fichiers à l’archivage.
    Le site,
    la page de l’outil FACILE.
  • Le rapport technique produit par la BnF sur les formats à privilégier dans une optique d’archivage et de pérennité :
    Caron (Bertrand), Formats de données pour la préservation à long terme : la politique de la BnF, Rapport technique, Paris, BnF, 2021.
    Site,
    document.
  • Rapport définissant 9 critères d’évaluation des formats dans une optique de préservation à long terme. Il présente aussi les politiques de plusieurs institutions en matière de formats (BnF, British Library, Library of Congress, etc.) :
    Caron (Bertrand), Humbert (Marion), Jolly (Anne-Flora), et al., Définir une politique de formats : les neuf critères essentiels, Rapport de recherche, Association Aristote, 2020.
    Lien
  • Référentiel général d’interopérabilité produit par le site numérique.gouv.fr donne des informations sur les formats permettant l’interopérabilité. Il a été officialisé par arrêté en avril 2016.
    Page dédiée,
    document.
  • Tableau produit par Doranum (réseau Urfist + Inist-CNRS) distinguant les formats ouverts et les formats fermés de tous les types de fichiers : audio, vidéo, image, texte, tableau, présentation, archivage, etc.
    Lien

Les ressources institutionnelles étrangères :

  • BanQ (Bibliothèque et archives nationales du Québec) a publié un guide de recommandation des formats à utiliser qui date de 2020.
    Lien
  • CECO : le Centre suisse de coordination pour l’archivage à long terme des documents électroniques décrit les différents types de formats et fournit des recommandations sur les formats à adopter.
    Lien
  • La présentation très complète et détaillée des différents formats de fichiers de la bibliothèque du Congrès.
    Lien
  • Et son guide des formats recommandés.
    Lien
  • OASIS, Organization for the Advancement of Structured Information Standards : institution centrée sur la normalisation des formats de fichiers.
    Lien
  • PRONOM : Ressource en ligne produite par les archives nationales du Royaume-Uni. Elle fournit un registre d’informations techniques sur les formats de fichier, les logiciels qui les lisent et les produisent. Possibilité de faire une recherche par format ou par logiciel.
    Lien

Sitographie

  • Arthur Perret, Cours sur le format texte. Lien
  • File-extensions : catalogue de toutes les extensions de fichiers existantes et leur description. Les extensions sont classées en plusieurs catégories. Pour chaque extentions, les logiciels permettant leur lecture, création, modification, etc. sont indiqués.
    Lien
  • Pin Format : groupe national de travail et de réflexion sur les formats de fichier affilié à l’association Aristote. Il réunit des institutions telles que le CINES, la BnF, l’INA et des ministères (Culture, Armée, Europe et Affaires étrangères).
    Lien
  • Le manuel de préservation numérique du groupe Pin Format qui définit les questions à se poser en matière de choix de format.
    Lien
  • Un wiki consacré aux formats de fichier.
    Lien
  • Xyoos

Format audio, vidéo et image :

  • Caron (Bertand), Formats de données pour la préservation à long terme : la politique de la BnF. [rapport technique],
    BnF, 2021, p. 29.
    Lien
  • Tardieu (Julien), Prise de son en SHS, Tutoriel MATE-SHS, 20 décembre 2018.
    Lien
  • Pour comprendre rapidement la différence entre signal analogique et signal numérique : Espace des Sciences, Interview de Michel Cabaret, France Bleu Armorique.
    Lien
  • Pour une initiation aux formats d’images, voir le site du Lycée Blaise Pascal de Clermont-Ferrand.
    Lien
  • Pour plus d’informations, consulter les ressources du module “formats de fichier – généralités”.
  • Pour plus d’information sur le IIIF voir la page documentation de Biblissima.
    Lien

Format texte:

  • Arthur Perret, Cours sur le format texte.
    Lien
  • Ensemble de cours sur l’écriture et la publication numérique en SHS de la Chaire de
    recherche du Canada sur les écritures numériques.
    Lien
  • Pour une approche plus détaillée de l’encodage, voir la présentation de Christian Queinnec.
    Lien
  • Pour une approche critique du format PDF, voir le billet d’Arthur Perret.
    Lien
  • BU de l’Université de Montréal, Vidéo de présentation des formats.
    Lien

Les lieux de collecte des données

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

POURQUOI COLLECTER DES DONNÉES ? QUESTIONNEMENT INTRODUCTIF

De manière générale et comme le disent les définitions du concept de données de la recherche, celles-ci sont nécessaires pour répondre à la problématique de recherche et pour valider le discours scientifique.
Ce discours peut prendre plusieurs formes :

  • un mémoire de recherche
  • une thèse
  • un article scientifique
  • une conférence, un colloque
  • un cours

Ces formes de discours ne s’excluent pas les unes les autres et un même lot de données peut être utilisé pour rédiger une thèse à partir de laquelle sera monté un cours ou encore préparé une intervention à un colloque.
Dans le cadre d’un projet de recherche, on peut collecter des données pour :

  • établir un état de l’art. Dans ce cas, on pense en premier lieu à une collecte de données bibliographiques
  • constituer un corpus de données à partir duquel effectuer l’analyse du sujet de recherche.

Dans ce cadre, les données du corpus peuvent être de plusieurs natures :

  • écrites
    • manuscrites
    • imprimées
    • numérisées
    • numériques
  • iconographiques
    • manuscrites
    • imprimées
    • analogiques
    • numérisées
    • numériques
  • orales et vidéo
    • produites par le chercheurs : enregistrements analogiques ou numériques
    • collectées autrement dit, déjà constituées par d’autres chercheurs,
      institutions, infrastructures : enregistrements analogiques ou numériques.

LIEUX DE COLLECTE

QUESTIONNEMENT INTRODUCTIF

Les lieux de collecte de données dépendent du type de données que le chercheur souhaite obtenir.

On peut distinguer les données non numériques des données numériques.

Où trouver des données non numériques

Au sein des données non numériques, il existe entre autres :

  • les livres, périodiques papiers collectés dans des bibliothèques et les centres de documentation des laboratoires de recherche,
  • les archives papiers collectées dans les centres d’archives,
  • les objets archéologiques collectés sur les chantiers de fouilles,
  • les entretiens, enquêtes, sondages, observations collectés sur des terrains, eux-mêmes définis selon la discipline et le sujet de recherche (panel de population, zone géographique, etc.)

Même si ces données sont non numériques, elles peuvent être trouvées et collectées, grâce à des outils numériques (quand ils existent) comme les catalogues de bibliothèque ou les inventaires d’archives.
Ces données sont créées par le chercheur ou organisées pour la recherche et la collecte.
Ces données peuvent être numérisées. On passe alors à une phase de traitement de données.

Où trouver des données numériques ?

Elles peuvent être collectées sur le web.
Dans ce cas, on distingue les lieux/sites non dédiés à la recherche d’informations et les lieux/sites dédiés à la recherche d’informations.

[voir ci-après méthodes de collecte> web scraping]

Les lieux non dédiés à la recherche

Ce sont des lieux qui ne sont pas conçus pour la recherche a priori. Ainsi, les données qu’ils fournissent ne sont pas toujours faciles à collecter, notamment parce qu’elles ne sont pas forcément structurées ni indexées.
Exemple de lieux non dédiés à la recherche : les sites du web 2.0 (ou web participatif) comme les forums ou les réseaux sociaux.

Les lieux dédiés à la recherche d’informations

Ils sont conçus pour faciliter la recherche et la collecte des données. Ils fournissent des métadonnées et des éléments d’indexation.
Exemple de lieux dédiés à la recherche :

  • les bases de données spécialisées,
  • les entrepôts de données,
  • les annuaires d’entrepôts,
  • les catalogues de données,
  • les bibliothèques numériques,
  • les archives numériques.

BASE DE DONNÉES

Définition

Il s’agit d’un conteneur stockant une collection d’informations ou de données structurées, semi-structurées ou brutes.
Une base de données sert à stocker, organiser, localiser, analyser et mettre à jour facilement et rapidement des données.
Les bases de données peuvent être classées en deux typologies :

  • Une typologie des bases de données selon le contenu : bibliographique, texte, image, nombre, audio, vidéo.
  • Une typologie selon l’approche organisationnelle de la base de données : hiérarchique, réseau, relationnelle ou SQL, NoSQL, distribuée, cloud, orientée texte, orientée objet, orientée graph.

LOADB : Listing of Open Database

LOADB recense les bases de données en libre accès et offre un portail d’accès unique à ces bases de données. Il est pour le moment orienté sciences technologiques et médicales mais entend inclure à terme tous les champs disciplinaires. On y trouve déjà des bases de données spécialisées en géographie et en archéologie.
[pour plus d’info, voir fichier “Traitements et analyses”].

Sources & ressources

  • Bastien L., “Base de données : qu’est-ce que c’est ? Définition et présentation”, dans Le Big Data, 24 janvier 2019.
    Lien
  • Site Oracle, Qu’est-ce qu’une base de données ?.
    Lien
  • Wikipédia, Base de données, mis à jour le 12 mai 2022.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Modèles et langages, mars 2022. Licence CC BY-NC-SA.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Aspects systèmes, Septembre 2020. Licence CC BY-NC-SA.
    Lien
  • L’informatique c’est fantastique, Cours sur les bases de données, Lycée Blaise Pascal, Clermont-Ferrand, mis à jour le 30 octobre 2020.
    Lien
    LOADB
  • Marcoux (Yves), Scénario type de création d’une base de données documentaire, Université de Montréal, EBSI, 2000.
    Lien
  • Site de l’ENSSIB, base de données/banque de données, 17 mars 2017.
    Lien

BANQUE DE DONNÉES

La différence entre base de données et banque de données fait débat. L’ENSSIB propose la distinction suivante :

“la base de données décrit la structure informatique, le contenant, tandis que la banque de données représente le contenu de la base, c’est à dire un ensemble de données relatif à un domaine de connaissance.”

Toutefois, elle cite également les deux définitions extraites du Vocabulaire de la doc (proposé par l’association des professionnels de l’information et de la documentation) :

Banque de données : “Ensemble de données relatif à un domaine défini des connaissances, généralement organisé et structuré en base de données pour être offert aux utilisateurs (JO). On distingue les banques de données bibliographiques (références de documents primaires, avec ou sans résumé), les banques de données iconographiques (images fixes ou animées ; à ne pas confondre avec le mode image), les banques de données textuelles (texte intégral complet ou partiel de documents primaires) ou de type GED (document complet au format original), les banques de données numériques (données chiffrées, plus ou moins structurées) et multimédias (1) (documents comprenant des textes, des images et des sons).”
Base de données :
“Ensemble de données structuré, généralement en champs, organisé en vue de son utilisation par des programmes correspondant à des applications distinctes (JO) (gestion, recherche, tri, cartographie, etc.). Ce regroupement structuré de données, géré par un système de gestion de base de données (SGBD), se réalise de manière à faciliter l’évolution indépendante des données et des programmes.”

(Source : Site de l’Enssib)

Sources & ressources

  • Bastien L., “Base de données : qu’est-ce que c’est ? Définition et présentation”, dans Le Big Data, 24 janvier 2019.
    Lien
  • Site Oracle, Qu’est-ce qu’une base de données ?.
    Lien
  • Wikipédia, Base de données, mis à jour le 12 mai 2022.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Modèles et langages, mars 2022. Licence CC BY-NC-SA.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Aspects systèmes, Septembre 2020. Licence CC BY-NC-SA.
    Lien
  • L’informatique c’est fantastique, Cours sur les bases de données, Lycée Blaise Pascal, Clermont-Ferrand, mis à jour le 30 octobre 2020.
    Lien
  • Marcoux (Yves), Scénario type de création d’une base de données documentaire, Université de Montréal, EBSI, 2000.
    Lien
  • Site de l’ENSSIB, base de données/banque de données, 17 mars 2017.
    Lien

ENTREPÔT DE DONNÉES

Base de données en ligne permettant le dépôt, la recherche, la collecte, la description, la conservation et la diffusion des jeux de données. Une fois déposés, les jeux se voient attribuer un DOI et, très souvent, une licence de réutilisation. Les jeux de données sont accessibles sur l’entrepôt, et peuvent être réutilisés, éventuellement après une période d’embargo.
Les entrepôts sont de plusieurs types :

  • généralistes et multidisciplinaires : Archive.org, Nakala, MediHAL, Zenodo.
  • disciplinaires : bibliothèques virtuelles humanistes, Ortolang, CNRTL, CocoOn, ArkeoGIS, Geoportail (IGN), Archipolis pour les sciences politiques.
  • liés à une institution : Data.gouv, DataBNF, Hal.

[Pour plus de détails sur les fonctionnalités des entrepôts de données, voir le fichier “Pérennisation”]

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

ANNUAIRE D’ENTREPÔTS

Ils peuvent être multidisciplinaires :

  • Re3data.org : possibilité de chercher des entrepôts par disciplines, par types de données, par pays.
  • OAD : Open Access Directory. Liste des entrepôts et des bases de données d’open data.
  • CatOpidor

Ils peuvent être disciplinaires :

  • Biosharing (STM)

Ils peuvent être mixtes c’est-à-dire constituer à la fois une archive ouverte et un entrepôt :

  • ROAR : annuaire qui répertorie les entrepôts en libre accès ou les archives ouvertes. Recherche possible par nom, région du monde, pays, logiciel, type de contenu, disciplines.
  • OpenDOAR : annuaire recensant à l’échelle internationale les entrepôts de données en libre accès et les archives ouvertes. Recherche possible par nom, région du monde, pays, logiciel, type de contenu, disciplines.
  • FAIRsharing : annuaires d’entrepôts de données et de bases de données de connaissances respectant les principes FAIR.

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

CATALOGUE DE DONNÉES

Ce sont des méta-moteurs cherchant dans plusieurs entrepôts.
On peut citer :

  • openAIRE : structure européenne créée en 2010 dédiée au développement du libre accès en Europe. Elle est à l’origine de l’entrepôt Zonodo.
  • Réseau Quetelet.
  • Humanities Data : Structure cherchant à favoriser la collecte et la diffusion d’informations sur les données publiques particulièrement dignes d’intérêt pour les humanités numériques.
  • B2FIND, le catalogue d’EUDAT (infrastructure européenne de services et ressources multidisciplinaires dédiés aux données de la recherche).
  • DataCite Search : 2680 entrepôts moissonnés, donne accès à des jeux de données mais aussi à des data papers, des articles de revues.
  • Dataset Search : le catalogue de données de Google.
  • CESSDA Data Catalog : catalogue de données du Consortium des archives de données européennes en sciences sociales. Recherche par sujet, année, pays, éditeur.
  • Opendatasoft : plateforme de recherche, de dépôt et de publication de jeux de données produits par les administrations publiques.
    Autre accès.

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

PUD

“Les plateformes universitaires de données (PUD) visent à stimuler l’utilisation des données mises à disposition par PROGEDO. Centrées sur le développement des compétences, les PUD prolongent l’action de PROGEDO au niveau régional et apportent un soutien direct aux utilisateurs de données d’enquêtes par :
l’aide à la recherche, à l’acquisition et à la mise en œuvre des fichiers de données,
la formation à la compréhension, à l’utilisation et au traitement de ces données,
la formation à l’utilisation d’outils informatiques et statistiques.”

(Source : Site de PROGEDO, page dédiée au PUD.
Lien)

RÉSEAU QUETELET

Historique

La diffusion de données est progressive depuis les années 1980. D’abord, des chercheurs du laboratoire Lasmas ont demandé d’accéder à certaines données.
Puis dans les années 1990, la diffusion des données (INSEE) s’est étendue au sein du CNRS.
Dans les années 2000, la diffusion s’est généralisée via le réseau Quetelet et elle s’est étendue aux services statistiques ministériels et aux autres producteurs public avec un accès disponible pour l’ensemble de la communauté scientifiques (universités, EPST, etc.).
En 2012 est créé PROGEDO avec pour objectif de développer la culture des données et d’assurer la coordination du réseau Quetelet.

Précisions sur les types de fichiers disponibles

Trois niveaux de fichiers :

  • Les données confidentielles non anonymisées, variables très détaillées. Elles ne sont pas diffusées en l’état et sont accessibles via des accès sécurisés et contrôlés. De ce fait, elles ne permettent pas forcément des travaux de recherche très évolués.
  • Les données FPR (Fichiers Productions et Recherche) ou Scientific Use Files : elles sont pseudonymisées, ont des variables détaillées, créées par le producteur à destination de la communauté scientifique.
  • Les données standards : publiques, anonymisées, variables agrégées. Diffusées en Open data via ou sur les sites des producteurs comme insee.fr, data.gouv.fr.

Les trois diffuseurs de données du réseau de diffusion QUETELET et leur catalogue :

  • ADISP : Archives de Données Issues de la Statistique Publique
  • INED : Institut National d’Études Démographiques, service des enquêtes
  • CDSP : Centre de Données Socio-Politiques

Le catalogue de l’ADISP.
Il diffuse des données d’enquêtes ponctuelles ou régulières et des données de diverses natures (recensement, panel, localisées, récentes, historiques, etc.)
Il diffuse les données des producteurs suivants :

  • l’INSEE
  • les services statistiques des ministères :
  • DARES : Direction de l’Animation de la Recherche, des Études et des Statistiques –
    Ministère du Travail
  • DEPP : Direction de l’Évaluation, de la Prospective et de la Performance – Ministère
    de l’Éducation
  • DEPS : Département des Études de la Prospective et des Statistiques – Ministère de la
    Culture
  • DGFIP : Direction Générale des Finances Publiques – Ministère des Finances
  • DREES : Direction de la Recherche, des Études, de l’Évaluation et des Statistiques –
    Ministère de la Santé
  • DSED : Département des Statistiques, des Études et de la Documentation – Ministère de
    l’Intérieur
  • MEDES : Mission enquêtes, données et études statistiques – INJEP, Ministère des Sports
  • SIES : Systèmes d’Information et des Études Statistiques – Ministère de l’Enseignement
    Supérieur
  • SDES : Service de l’Observation et des Statistiques – Ministère des Transports
  • d’autres institutions publiques :
  • CEPREMAP : Centre pour la Recherche Économique et ses applications
  • CEREMA : Centre d’Études et d’expertise sur les Risques, l’Environnement, la Mobilité
    et l’Aménagement
  • CEREQ : Centre d’Études et de Recherche sur les Qualifications
  • CNISF : Conseil National des Ingénieurs et Scientifiques De France
  • CREDOC : Centre de Recherche pour l’Étude et l’Observation des Conditions de vie
  • DRIEA : Direction Régionale et Interdépartementale de l’Équipement et de l’Aménagement
    d’Île-de-France
  • INCa : Institut National du Cancer
  • INSERM : Institut National de la Santé Et de la Recherche Médicale
  • ISSP-France : International Social Survey Programme
  • IRDES : Institut de Recherche et de Documentation en Économie de la Santé
  • OCEMO : Office de Coopération Économique pour la Méditerranée et l’Orient
  • OVE : Observatoire de la Vie Étudiante

Il compte environs 1500 jeux de données.
Il s’agit uniquement des données quantitatives.
On y trouve une certaine profondeur historique car la plus ancienne enquête date de 1954.
Les données couvrent le territoire français (métropole et dom-tom)
Les données sont individuelles ou agrégées

Le catalogue de l’ADISP est organisé en dix thèmes :

  • population et démographie
  • travail et emploi
  • salaire et revenus
  • conditions de vie et société
  • santé et protection sociale
  • éducation et formation
  • opinions
  • entreprises
  • données localisées
  • données historiques

L’ADISP produit et diffuse également des produits sur mesure à partir de vingt sources de l’INSEE. Cela permet de faire des tableaux plus détaillés par rapport à ce qu’il y a de directement accessible sur le catalogue.
L’ADISP donne accès à des projections de populations à moyen/long terme sur tout territoire continu de plus 50 000 habitants (à partir de l’outil Omphale).
L’ADISP fournit également des tableaux agrégés prédéfinis sur les hôtels et les campings.

Le catalogue du service des enquêtes de l’INED.
Il produit et diffuse ses enquêtes. Il y a 245 données d’enquête disponibles en 2022 autour de 8 thématiques :

  • couples, familles, sexualité
  • naissance, fécondité, contraception
  • espérance de vie, mortalité, santé
  • migrations, discrimination, intégration
  • habitat, environnement, territoire
  • genre, inégalités hommes-femmes
  • âge de la vie, vieillissement
  • populations du monde

Le catalogue du CDSP.
Plus de 300 références sont disponibles à la fin de l’année 2018 avec deux types de données :

  • les données quantitatives : résultats électoraux et enquêtes quantitatives
  • les données qualitatives : via beQuali : enquêtes qualitatives en sciences humaines et sociale

La commande de données

Pour demander des données au réseau Quetelet, il faut s’inscrire en créant un profil utilisateur, puis faire une demande de données avec une présentation de son projet de recherche. Il faut signer les formulaires associés et les envoyer. Tout est ensuite vérifié et validé en fonction du projet et de l’appartenance institutionnelle. Ensuite, il est possible de télécharger les données voulues.
Pour s’inscrire, aller sur ce lien.

Sources & ressources

  • Zolotoukhine (Eric), Catalogue de données de PROGEDO, Tutoriel MATE-SHS, 4 février 2019.
    Lien
  • Site de PROGEDO.
    Lien
  • Site de l’ADISP.
    Lien
  • Le catalogue de l’INED.
    Lien
  • SITE DU CDSP (centre de données socio-politiques).
    Lien

CASD – Centre d’accès sécurisé aux données

Après habilitation du Comité du Secret statistique ou par convention, on peut travailler directement sur des fichiers très détaillés et des données confidentielles à distance à partir de terminaux sécurisés (SD-Box). Les exports de résultats sont contrôlés.
Historiquement, ce centre fournit trois types de sources :

  • les données individus et ménages
  • les données entreprises
  • les données agriculture.

L’accès à ces données est payant et contrôlés.

Sources & ressource

  • Zolotoukhine (Eric), Catalogue de données de PROGEDO, Tutoriel MATE-SHS, 4 février 2019.
    Lien
  • Site de PROGEDO.
    Lien
  • Site du CASD.

Le fonctionnement du Web

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

Internet vs Web

Internet est antérieur au web, il s’agit de l’infrastructure et du réseau matériel de télécommunication qui relie des ordinateurs, des réseaux entre eux et qui permet le transfert de données. L’Internet utilise des câbles, notamment sous-marins, pour effectuer ces opérations de transfert.
Internet est le support de plusieurs services dont le web, les messageries électroniques, ou encore le FTP (pour échanger des fichiers entre ordinateurs). Aujourd’hui, beaucoup de ces services utilisent le web ce qui explique pourquoi on a tendance à confondre web et internet.
Toutefois, il existe encore des usages d’internet qui n’utilisent pas le web. Par exemple, les données du SUDOC (les notices bibliographiques des documents) qui sont transférées aux logiciels de gestion des bibliothèques, et ensuite visibles sur leur catalogue en ligne ne passent pas par le web.

Le web

Le web a été créé entre en 1989 et 1991 par Tim Berners-Lee avec l’aide de Robert Cailliau au Conseil européen pour la recherche nucléaire (CERN). Il s’est servi des technologies existantes : internet, les ordinateurs et les liens hypertextes. Il invente le navigateur, un logiciel permettant de naviguer au sein d’une collection de documents, des pages, reliées entre elles par des liens hypertextes.

W3C

En 1994, Tim Berners-Lee créé le Word Wide Web Consortium ou W3C qui se donne pour mission de structurer et de suivre l’évolution du web de façon à ce qu’il reste un outil libre, unique, utilisable par tous. Il produit notamment des recommandations sur l’évolution des langages web. Ainsi le html est un langage standardisé maintenu et développé par le W3C (voir ci-après pour plus de précisions sur le html).

Comment fonctionne le web ? Client, serveur et site

Le web fonctionne sur un système de clients et de serveurs.
Le client est l’ordinateur de l’utilisateur. Il est connecté à un internet et utilise un logiciel d’accès au web autrement dit, un navigateur (comme Firefox, Safari, Google Chrome).
Le serveur est un ordinateur qui stocke un site web ou des données brutes.
Un site web est lui-même composé de pages web. Concrètement un site web est un ensemble de fichiers qu’on peut classer en deux catégories :

  • les fichiers de code c’est-à-dire les fichiers écrits en html, css et autres langages, chaque fichier html correspond à une page web.
  • les fichiers ressources comme un fichier image, un fichier son ou vidéo, un fichier PDF qui apparaissent sur les pages web.

Quand un client accède à une page web, une copie de la page est en fait téléchargée depuis le serveur et envoyée au client dont le navigateur affiche la page dans une version lisible par l’humain.

Adresse web, URL et adresse IP

Chaque page web a une adresse web ou URL qui permet de la localiser. Cette URL est une suite de caractères alphanumérique facilement lisible par l’oeil humain. ELle correspond en fait à une adresse IP qui prend la forme d’une suite de chiffres. Les correspondances entre les URL et les adresse IP sont stockées dans des serveurs spéciaux, les DNS (Domain Name System). Ainsi, quand l’utilisateur saisit une adresse ou URl dans un navigateur, celui-ci va chercher l’adresse IP correspondante dans une DNS. Puis, il envoie une requête HTTP au serveur qui stocke la page, de façon à en obtenir une copie.

Le protocole HTTP/HTTPS

HTTP signifie : Hypertext Transfer Protocol. C’est un protocole de communication entre client et serveur. Il a été inventé par Tim Bernes-Lee.
HTTPS est la version sécurisée du protocole HTTP. Il garantit la confidentialité des données envoyées par l’utilisateur et lui permet d’authentifier un site. HTTPS est très utilisé aujourd’hui, notamment pour accéder aux sites marchands et bancaires.
Dans le protocole HTTP, différentes méthodes existent pour préciser des types de requêtes différents qui sont envoyées au serveur. Ce dernier exécute alors la requête.
Voici quelques méthodes :

  • GET sert à demander à récupérer une ressource (page, données)
  • HEAD sert à récupérer uniquement les métadonnées de la ressource (notamment ce qui se trouve dans le header d’une page html. voir ci-après).
  • POST sert à transmettre des données à une ressource pour un traitement. Cela peut signifier la création ou la modification de ressources.
  • PUT sert à ajouter ou remplacer une ressources sur un serveur.
  • PATCH sert à modifier partiellement une ressource
  • DELETE sert à supprimer une ressources

(Source : Wikipédia, Hypertext Transfer Protocol)

Navigateur vs moteur de recherche

Attention à ne pas confondre navigateur et moteur de recherche.
“un navigateur est un logiciel qui affiche des pages web, alors qu’un moteur de recherche est un site web qui aide les utilisateurs à trouver les pages web d’autres sites web.”
On utilise un navigateur pour accéder à un moteur de recherche.
La confusion entre les deux notions tient au fait qu’en ouvrant un navigateur web, on accède souvent directement à la page d’accueil d’un moteur de recherche.
Exemple de moteur de recherche :

  • Les classiques : Google, Bing,
  • Les engagés : Ecosia, Lilo,
  • Les protecteurs de données personnelles : Startpage, Duckduckgo, Qwant

(Source : Mdn Web Doc, Quelle différence entre une page web, un site web, un serveur web et une moteur de recherche ?)

Les langages de balisage

Ils servent à annoter du texte brut avec des informations qui sont lisibles autant par les machines que par les humains. Les annotations sont contenues dans des balises et donnent des informations sur la structure du texte brut autrement dit, sur la structure du contenu. Les balises sont interprétées par un programme informatique.
Il existe plusieurs langages de balisage : le html, le xml, le CSS, le LaTeX, la TEI, le Markdown.

Le HTML

Langage de balisage du web. Toutes les pages web sont écrites en html ce qui permet l’interopérabilité du documents présents sur le web. Une page web est contenu dans un fichier .html.
Il existe un nombre limité de balises, et ce langage est maintenu par le W3C qui décide d’intégrer de nouvelles balises.
Le html se caractérise par un système de balises ouvrantes et de balises fermantes (sauf exception comme <br/> pour le saut de ligne).
Exemple :
<h1>contenu titre</h1>.

Structure html d’une page web :
<html> <head> </head> <body> </body> </html>.

La balise <html> </html> est la balise racine qui encadre toutes les autres.

Entre les balises <head> </head> se trouvent les métadonnées qui ne s’affichent pas sur la page que lit l’internaute. Les métadonnées y sont contenues entre des balises plus spécifiques pour déterminer l’encodage, le titre de l’onglet, etc.

Entre les balises <body> </body> se situe tout ce qui est affiché sur la page web.

Cette structure est obligatoire et se retrouve sur toutes les pages web de tous les sites.
Les balises peuvent donc s’imbriquer les unes dans les autres. Une balise qui contient une autre balise est dite “parente”, la balise imbriquée est dite “enfant” ou “descendante”. Cette imbrication peut avoir des conséquences notamment lors de l’application du CSS (voir ci-après).

La structuration des balises.
Une balise peut être dotée d’un attribut, et l’attribut être doté d’une valeur.
balise + attribut + valeur de l’attribut :
<balise attribut="valeurdelattribut">.
Exemple :
<h1 class="black">, qui signifie que la balise h1 qui détermine un titre de niveau 1 (le plus gros) a un attribut de type “class” qui a lui même une valeur, “black”.
Attention, l’attribut est toujours ajoutée dans la balise ouvrante, jamais dans la balise fermante.

Les principales balises html :

  • balises paragraphe :
    <p> contenu </p>.
  • balise saut de ligne :
    <br/>.
  • balises titre de la page (il y a 6 niveaux de titre, du h1 au h6) :
    <h1> contenu </h1>.
  • balises pour mettre en gras son contenu :
    <strong> contenu </strong>.
  • balises pour mettre en italique son contenu :
    <em> contenu </em>.
  • balises pour faire des listes ordonnées ou numérotées :
    <ol> <li> </li> <li> </li> <li> </li> </ol>.
  • balises pour faire des listes non ordonnées :
    <ul> <li> </li> <li> </li> <li> </li> </ul>.
  • balise pour insérer une image. C’est une balise autofermante :
    <image/>.
    Il faut lui ajouter un attribut de type “src” et mettre le lien vers le fichier image :
    <image src="nom-du-fichier-image.jpg" />.
  • balises pour insérer un lien hypertexte :
    <a> contenu avec un lien hypertexte </a>.
    Comme pour la balise image, il faut lui ajouter un attribut et sa valeur qui correspond à l’url du liens qu’on veut indiquer :
    <a href="https://www.siteavoir.com">Pour aller plus loin</a>.
    La chaîne de caractère “Pour aller plus loin” apparaîtra sur la page web avec un lien hypertexte renvoyant au site indiqué au sein de la balise.
  • Il existe des balises génériques :
    <span> </span>
    <div> </div>.
    Elles n’ont pas de signification sémantique à l’inverse de “h1” qui indique un titre, “p” qui indique un paragraphe, etc. Elles sont utilisées pour mettre en forme le contenu qu’elles encadrent grâce à des attributs qui seront repris dans un CSS (voir ci-après).

Ces attributs sont :

  • class : renvoie au nom de la classe CSS à employer.
  • id : donne un nom à la balise et permet de l’identifier. Il faut que ce nom soit unique sur la page.
  • style : sert à indiquer directement le code CSS qu’on veut appliquer. Cet attribue n’est pas conseillé.

Ces attributs peuvent être utilisés dans d’autres balises et pas seulement dans “span” et “div”.

Le CSS – Cascading Style Sheet

Langage de mise en forme du contenu html maintenu par le W3C.
Sans entrer dans les détails de la mise en relation d’un fichier html avec une feuille de style css (qui intervient dans la balise <head> du fichier html), il s’agit ici de se concentrer sur les principes moteurs du css : les sélecteurs, les propriétés et les valeurs.

  • Le sélecteur : c’est l’élément html sur lequel on souhaite appliquer un style.
    Par exemple, si on souhaite appliquer un style aux paragraphes, on choisit l’intitulé de la balise html du paragraphe, “p”. Si on souhaite appliquer un style aux titre de niveau 2, on prendra comme sélecteur “h2”.
    Après le sélecteur, on ajoute des accolades {} qui contiendront les propriétés et les valeurs.
    Ex : p {}.
  • Les propriétés : elles indiquent quel aspect de l’élément html on souhaite mettre en forme : la taille, la couleur, la police, etc. La propriété est directement suivie d’un “deux-points” sans espace.
    Ex : css p { color: } .

On ne peut pas créer de propriété, elles sont prédéfinies, il faut donc les connaître. De nombreux sites recensent ces propriétés (voir le site du W3C ou le cours de Mathieu Nebra sur le site OpenClassrooms, Mémento des propriétés CSS).

  • La valeur : elle s’applique à la propriété.
    Ex : css p { color: black } .
  • Si on souhaite appliquer une autre propriété à ce sélecteur, on ajoute un point-virgule après la valeur.
    Ex : css p { color: black; } .
  • Ce qui permet d’ajouter une nouvelle propriété et valeur à ce sélecteur, comme la police de caractère.
    Ex :
    css p { color: black; font-family: Arial; } .

CSS : héritage des propriétés.

Une notion fondamentale du CSS veut que tout élément html qui est imbriqué dans une balise hérite des propriétés CSS de cette balise parente.
Par exemple, si on applique la couleur bleue à une balise <div></div> qui contient des balises <p></p>, la couleur bleue s’applique aussi aux paragraphes.

Sources & ressources

  • Site du CNRTL, article “Internet”.
    Lien
  • Site de Aune (Nicolas), Apprendre html et CSS.
    Lien
  • Site de DariahTeach, Langages de balisage et modélisation du texte.
    Lien
  • Site Mdn Web Doc, Le fonctionnement du web.
    Lien
  • Site Mdn Web Doc, Quelle différence entre une page web, un site web, un serveur web et une moteur de recherche ?.
    Lien
  • Nebra (Mathieu), Comprendre le web, Site OpenClassrooms, mis à jour le 2 mars 2022.
    Lien
  • Nebra (Mathieu), Mémento des balises html, Site OpenClassrooms, mis à jour le 25 février 2022.
    Lien
  • Nebra (Mathieu), Mémento des propriétés CSS, Site OpenClassrooms, mis à jour le 25 février 2022.
    Lien
  • Nebra (Mathieu), Apprenez à créer votre site web avec HTML5 et CSS3, Site OpenClassrooms, mis à jour le 25 février 2022.
    Lien
  • WC3, List of CSS properties, both proposed and standard, mis à jour le 7 juillet 2022.
    Lien
  • Wikipédia, Hypertext Transfer Protocol, mis à jour le 23 mai 2022.
    Lien
  • Wikipédia, Langages de balisage, mis à jour le 3 janvier 2022.
    Lien

Les méthodes de collecte des données

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

QUESTIONNEMENT INTRODUCTIF

Les méthodes de données vont dépendre du type de données collectées : des données produites ou collectées, données non numériques ou numériques.

Les méthodes de production de données

Elles peuvent dépendre d’une méthode propre à une discipline comme la récupération de données archéologiques qui passe par les techniques de fouilles archéologiques.
Dans le même ordre d’idées, les sciences sociales comme l’ethnologie, l’anthropologie, la sociologie, les sciences du langage, les sciences politiques peuvent utiliser des méthodes bien définies par les disciplines telles que :

  • l’entretien (dirigée, semi-dirigée, non-dirigée)
  • le questionnaire
  • le sondage
  • l’observation (structurée, systématique, non-structurée, non-systématique)
  • le groupe de discussion
  • les enquêtes (par sondage, panel, test standardisé, questionnaire)

De manière générale, la communauté des chercheurs acquiert également des données non numériques par des moyens plus informels comme les échanges entre chercheurs notamment lors de rencontres, discussions, colloques, conférences. Ces échanges peuvent se traduire par une prise de note manuelle, sur papier.

Attention, ces données orales, non verbales, peuvent être collectées de façon numérique par le biais d’enregistrements ou d’outils numériques comme les cahiers de laboratoires ou les carnets de terrain.
Pour les données collectées de façon non numériques, il peut ensuite y avoir un processus de numérisation :

  • photographie numérique d’un objet, d’une situation ou numérisation d’images analogiques
  • transcription écrite d’enregistrement analogiques (ou numériques)

Toutefois nous sommes déjà ici dans le champ du traitement des données en vue de leur analyse. [Voir : fichier “Traitement et analyse] [Voir : cahier de terrain électronique]

Les méthodes de collecte de données

Un chercheur peut également récupérer des jeux de données préalablement collectées et traitées par d’autres chercheurs dans le cadre d’autres projets de recherche ou des données non structurées, non conçues pour la recherche.
Elles sont nombreuses et demandent plus ou moins de compétences informatiques.
Le chercheur peut se poser la question du temps à investir dans l’apprentissage et la maîtrise de ces méthodes. Est-il prêt à dépenser un tel temps ? Sa recherche nécessite t-elle ce type de méthodes ?
Le chercheur dispose-t-il du matériel nécessaire à ce type d’opération ?
Nous détaillons les méthodes ci-dessous.

Source & ressources

  • Del Bayle (Jean-Louis), Initiation aux méthodes des sciences sociales, Paris-Montréal, L’Harmattan, 2000, 272 p. Une édition numérique réalisée par, Émilie Tremblay, bénévole, doctorante en sociologie à l’UQAM.
    Lien
  • Sauvayre (Romy), Les méthodes de l’entretien en sciences sociales, Dunod, 2013.
    Lien
  • Billet de blog : T.T, Entretien ou questionnaire : quelle méthode de collecte de donnés pour son mémoire ?, 6 janvier 2017.
    Lien
  • Norimatsu (Horiko), Cazenave-Tapie (Pascal), Techniques d’observation en Sciences humaines et sociales, 52ème Congrès International de la Société d’Ergonomie de Langue Française (SELF), 20-22 Septembre 2017, Toulouse, France. Actes du 52ème Congrès de la SELF 2017, pp. 529-532.
    Lien,
    Actes complets disponibles en ligne.
  • Observatoire Espace & Société, La méthodologie d’enquête en sciences sociales, 2019.
    Lien

COPIER-COLLER

Sur une page web ou un document téléchargé, il est possible de copier-coller des données ou des informations. Il s’agit d’une opération manuelle coûteuse en temps.
Raccourci clavier sous Windows après sélection de l’extrait à copier :
copier : ctrl + C,
coller : ctrl + V.
Raccourci clavier sous Mac OS après sélection de l’extrait à copier :
copier : Cmd + C,
coller : Cmd + V.

Cette méthode peut être remplacée par une méthode semi-automatique, le web scraping qui permet de collecter des données de façon plus massive.

Sources & ressources

  • Wikipédia, Copier-Coller, mis à jour le 28 juillet 2021.
    Lien

TÉLÉCHARGEMENT

Méthode consistant à transférer des données ou des informations d’un ordinateur à un autre.
Il existe plusieurs types de téléchargement :

  • téléchargement direct avec stockage d’un fichier
  • lecture en continue ou streaming
  • navigation web,
  • téléchargement pair-à-pair (entre ordinateurs qui sont tous deux à la fois serveur et client)
  • téléchargement licite
  • téléchargement illicite.

Un fichier téléchargé peut être soumis au DRM (gestion numérique des droits) qui gère les conditions de son utilisation.
Pour le chercheur, il est possible de télécharger un jeu de données à partir d’un entrepôt de données, ou des documents à partir d’une base de données documentaire comme Persée, Cairn ou à partir d’une archive ouverte comme HAL.

Sources & ressources

  • Wikipédia, Téléchargement, mis à jour le 6 juillet 2022.
    Lien

FLUX RSS

Définition

  • Really Simple Syndication
  • Une technologie du web
  • Fichier texte au format XML. Il contient a minima un titre, une description, et l’URL de la ressource.
  • Syndication de contenus : publier automatiquement sur un site web, des infos provenant d’autres sites web
  • Agrégation de contenus : Stocker et consulter des contenus provenant de plusieurs flux d’informations.

À quoi servent les flux RSS ?

  • A organiser sa veille
  • A repérer les modifications de contenu d’un site web.
  • A récupérer les nouveauté d’un site web (quotidien, blog, base de données, compte twitter) et les intégrer dans un autre site ou logiciel.
  • Autrement dit : collecter de l’information de façon automatisée sans devoir aller consulter chacun des sites que l’on suit.

Comment utiliser les flux RSS ?

Grâce à des agrégateurs ou lecteur de flux. Ils permettent d’afficher sur une interface personnalisable les nouveautés des sites web dont on suit le fil RSS. Il s’agit d’outils de centralisation des flux d’informations issus de ces sites. Les agrégateurs fournissent des outils pour classer les flux par thématiques ou ordre alphabétique.
Ils sont de plusieurs types :

  • agrégateurs de flux en ligne de type application web
    Exemple d’agrégateur en ligne : feedly
  • agrégateurs à installer sur l’ordinateur, logiciel spécifique.
    Exemple d’agrégateur à installer : QuiteRSS (libre et open source) Raven Reader (open source)
  • page personnalisable : outil proche des deux précédents, la page personnalisable permet de créer un site web personnel, de l’organiser en onglet thématiques qui centralisent les flux RSS et intègrent d’autres services comme la messagerie électronique ou encore les comptes de réseaux sociaux.
    Exemple de page personnalisable : Netvibes
  • navigateurs : les navigateurs comme Firefox ou Internet explorer peuvent lire des flux rss et les intégrer aux favoris. Le flux s’affiche ensuite comme un marque-page
  • Certaines messageries comme Outlook ou Thunderbird permettent également d’intégrer des flux rss.

Notions liée : l’OPML

Outline Processor Markup Language. Format de fichier de type xml. Il permet le regroupement et l’identification des titres d’un texte. Il est utilisé dans l’univers des flux rss pour échanger des listes d’abonnements entre agrégateurs de flux.

Sources & ressources

  • Page web sur les outils de veille et les outils collaboratifs de l’université de Rennes 2. Licence CC-BY-NC-ND.
    Lien
  • Corinne Habarou – Urfist Paris, Utiliser les flux RSS pour sa veille : choisir son lecteur, session 2017. Licence CC-BY-NC-SA.
    Lien
  • Bibliothèques universitaires de l’université Aix-Marseille, page dédiée à l’automatisation de sa veille professionnelle, dernière mise à jour en septembre 2021.
    Lien
  • Wikipédia, Tableau comparatif des agrégateurs de flux, dernière mise à jour le 6 décembre 2021.
    Lien

WEB SCRAPING

Définition

Le web scraping consiste à récupérer de manière automatisée le contenu d’une ou plusieurs pages web à l’aide de scripts ou de logiciels et de sauvegarder ce contenu dans des formats de fichiers qui en facilitent l’analyse (de type, xml, json, csv ou texte brut).
Il permet de collecter certains éléments ciblés dans le code html de la page web.
Il permet d’éviter le copier-coller qui est une méthode humaine et manuelle.
Exemple d’utilisation : collecter les échanges d’une discussion sur un forum.

Distinction entre web crawler et web scraper

Web crawler : robot parcourant les sites web pour lister et stocker les URLS entrantes et sortantes de chaque page web.

Web scraper : robot ou programme parcourant des listes prédéfinies de sites web (donc des URL) pour extraire leur contenu. L’extraction s’effectue grâce à des sélecteurs comme XPath, CSS ou RegEX qui permettent de sélectionner des éléments de la structure html des pages du site scrapé.
Concrètement un sélecteur est une chaîne de caractère (en texte brut) qui explique au web scraper quels types de données il doit collecter et extraire de la page web.

Le web crawler va guider le web scraper d’url en url
Le web scraper collecte les données des url indiquées par le web crawler.

Les outils du web scraping

Plusieurs types d’outils permettent de faire du web scraping :

  • Des outils “clé-en-main” qui ne nécessitent pas de coder :
    • les extensions de navigateur comme Webscraper IO qui fonctionne avec Google Chrome.
    • les logiciels à installer sur son propre ordinateur comme Octoparse (payant au- delà de 14 jours) ou encore ParseHub (version téléchargeable gratuite, version cloud payante).
  • Des outils et des techniques pour créer son propre web scraper qui nécessitent des compétences en programmation informatique : les langages de programmation, les librairies, bibliothèques ou packages et les éditeurs de texte, éditeurs de code, IDE.
    • Il existe plusieurs langages de programmation, notamment Python, Java, C, C++, R, LaTeX, SQL, XML, Javascript, html, RDF.Python est une sorte de langage à tout faire. Il permet notamment de faire de l’analyse de données et de créer des interfaces.
    • Les librairies ou bibliothèques ou packages sont des portions de codes autrement dit un ensemble d’objets et de fonctions spécialisés dans un domaine d’utilisation. Les librairies n’ont pas d’interfaces graphiques, uniquement du code à réutiliser. Une bonne librairie possède une documentation bien développée.Par exemple Scrapy est une bibliothèque destiné au langage Python qui permet d’extraire des données en ligne. Elle est gratuite, open source et très bien documentée.
    • l’éditeur de texte possède des fonctionnalités limitées : écrire du texte,
      aligner le texte, modifier la taille de la police d’écriture.
    • l’éditeur de code possède des fonctionnalités plus avancées que l’éditeur de texte. Conçu pour écrire des logiciels, il permet de changer les polices et les couleurs pour une meilleure lisibilité du code qu’on est en train d’écrire, ou encore de se servir d’une autocomplétion propre au langage de programmation utilisé. On peut y ajouter des extensions pour plus de fonctionnalités et de personnalisation.
    • un IDE ou Environnement de développement intégré est un logiciel qui permet d’écrire, de compiler, de tester, de lancer, de dégobuer des logiciels. En résumé l’IDE comprend un éditeur de texte et plusieurs outils supplémentaires comme un débogueur qui exécute ligne à ligne le programme en cours d’écriture et aide à trouver les erreurs de programmation.
      Certains IDE s’emploient avec des langages de programmation spécifiques : IDE pour Python comme Pycharm ou Atom, IDE pour R comme RStudio, IDE pour javascript comme Visual Studio Code. Certains IDE servent à coder en plusieurs langages comme l’IDE CodeLite pour Python, C, C++, Javascript, PHP, Rust (Open source).

Est-ce légal ?

Le web scraping n’est pas illégal en soi mais sa légalité peut être compromise en fonction de l’utilisation des données scrapées, par exemple en cas d’utilisation commerciale des données. Certains sites n’autorisent pas le scraping. Avant de scraper, il faut lire les CGU (conditions générales d’utilisation) et les CGV (conditions générales de vente) et bien connaître le RGPD pour ce qui concerne les données à caractère personnelles. Le site de la CNIL fournit des informations et des outils à jour sur ce sujet.
Voir par exemple CNIL, Quels outils pour aider les acteurs de la recherche dans leur mise en conformité ?, 31 janvier 2022. Lien

Les obstacles au web scraping

  • La structure d’une page web évolue fréquemment. Il faudra donc modifier les scripts du web scraper en conséquence sinon, il peut ne renvoyer aucune donnée ou des données incomplètes et/ou inexactes.
  • Certains sites mettent en place des mécanismes “anti-scraping” et des pièges pour
    empêcher la collecte des données.
  • La qualité des données obtenues n’est pas garantie.

Sources & ressources

  • CNIL, quels outils pour aider les acteurs de la recherche dans leur mise en conformité ?, 31 janvier 2022. Lien
  • Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, Tuto MATE-SHS, 24 mai 2018.
    Lien
  • Site : Data Transition numérique.
    Lien
  • Site Sales Hacking.
    Lien
  • Présentation de l’extension Webscraper : Virginier Lethier, Les trucs et astuces de la plateforme technologique : Web scraping, MSHE, Université Franche-Comté, 11 avril 2019.
    Lien
  • Ménage (Pauline), Altenbernd (John), Hemmer (Roland), Adoptez Visual Studio comme environnement de développement, Site OpenClassrooms, mis à jour le 21 février 2022, (présente la différence entre éditeur de texte, de code et IDE).
    Lien

XPATH – XML Path Language

Définition

Pour bien comprendre le XPath, il faut connaître les notions propres aux XML.
Originellement, XPath est un langage de requête maintenu par le W3C qui permet de localiser une partie d’un document XML. Il est aussi employé pour repérer des portions dans des documents structurés donc écrits dans des langages structurés comme les langages de balisage tels que le html (page web). Les balises contiennent des infos. Les balises ont un type et peuvent avoir un attribut et un contenu. Par exemple, on peut vouloir sélectionner le contenu de la balise ou bien son attribut.
Distinction entre le contenu et l’attribut :

  • contenu : ce qui est entre les deux balises :
    <p>contenu</p>
  • attribut : ce qui est contenu dans la balise :
    <a href="www.nomdunsiteweb.fr">contenu</a>

XPath permet de dire à quel endroit de la structure on souhaite se positionner.
Par exemple, il possible de sélectionner tous les liens hypertexte contenus dans la page web consultée.
XPath consiste à écrire en texte brut le chemin qui permet d’accéder et de sélectionner les éléments de la page web voulus.

Le chemin XPath, les noeuds et les relations

Le chemin XPath comprend les notions de racine, noeud et de relations entre noeuds qui appartiennent à l’organisation d’un document XML.
Un noeud peut être, entre autres, le document lui-même (noeud racine), un élément xml (ou balise html), un attribut xml, le contenu de l’élément (ou de la balise).
Les relations entre noeuds sont de différentes natures :

  • Relation parents : tous les éléments et tous les attributs ont un parent.
  • Relation enfant : un noeud peut avoir un nombre illimité d’enfants.
  • Relation frère : deux noeuds ayant le même père sont frères.
  • Relation ancêtre : tous les ancêtres d’un noeud jusqu’au noeud racine qui est l’ancêtre de tous les noeuds du document.
  • Relation descendants : les fils et fils des fils. Tous les noeuds d’un document XML sont les descendants du noeud racine.

Les noeuds qui n’ont ni parents, ni enfant son dits “valeur atomique”.
Tous les noeuds sont structurés, ordonnées.
Avec XPath, plusieurs chemins mènent à un noeud :

  • le chemin le plus simple va de la racine au noeud ciblé en passant par tous les noeuds parents intermédiaires.
  • On peut aussi sauter un noeud.
  • Attention, un chemin peut aussi mener à plusieurs noeuds.

Comment écrire un chemin XPath ?

“Le premier concept est celui de noeud courant : c’est l’endroit d’où l’on part. En première lecture on peut imaginer qu’il s’agit de la racine du document, mais n’importe quel noeud peut jour ce rôle. À partir de là, on considère trois éléments :

  • un axe : la direction dans laquelle on se dirige à partir du noeud courant (vers le père, vers les fils, vers les frères de gauche, etc.) ;
  • un filtre : le type de noeuds qui nous intéresse dans l’axe choisi (des noeuds quelconques, des éléments quelconques ou un élément précis, des commentaires, etc.) ;
  • un prédicat optionnel : des conditions supplémentaires pour sélectionner des noeuds parmi ceux retenus par le filtre dans l’axe.
    Ils constituent à eux trois une étape et on les note axe::filtre[prédicat]. L’enchaînement de plusieurs étapes constitue une chemin XPath.”

(Source : Site de Fabien Torre, Cours sur les requêtes XPath)

Les principes de sélection

Il y trois grands principes de sélection :

  • le principe de sélection qui distingue l’enfant d’un noeud et son descendant.
  • enfant : on prend le noeud juste en dessous (/).
  • descendant : on prend le noeud à n’importe quel niveau inférieur de l’arborescence (//). Utile pour récupérer tous les liens indiqués sur une page web.
  • le principe de sélection qui est basé sur le contenu du texte ou de la balise, il est très important, très fréquent, notamment pour récupérer les noeuds qui correspondent à une condition et porte soit sur le texte (la balise), soit sur l’attribut de la balise.
  • Exemple : //div[@class="book"] = On sélectionne toutes les balises div dont l’attribut est “class” et dont le nom est “book”.
  • Autre exemple : //a[contains(text(),"anthropologie")] = on récupère tous les liens (a) qui contiennent le texte “anthropologie”.
  • le principe de sélection qui consiste à aller jusqu’à un noeud puis de monter ou de descendre, il est moins fréquent. Quand on est à un endroit, on peut spécifier si on veut monter ou descendre, prendre le frère ou le parent de tel ou tel noeud avec une série d’opérateurs qui permettent de sélectionner les infos qui nous intéressent.

En résumé : en XPath, il y a une série d’opérateurs important :

  • /= Enfant
  • // = Descendant
  • [] = Condition
  • @ = Attribut
  • contains()

Exemples de requêtes XPath :

  • /a = tous les liens hypertexte au niveau de la racine.
  • //a = tous les liens hypertexte de la page.
  • //div/a = tous les liens hypertexte immédiatement dans le div.
  • //div//a = tous les liens hypertexte n’importe où dans le div.
  • //a[contains(text(),'anthropologie')] = tous les liens hypertexte contenant ‘anthropologie’.

(Source : CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 3 “Sélectionner des données avec XPath)

Outil et astuce

  • Utiliser l’inspecteur d’élément (clic droit sur la page web puis “inspecter” ) pour visualiser simultanément un endroit sur une page web en y passant la souris et son code html correspondant ce qui permet de voir entre quel type de balises il se situe.
  • Chropath : extension pour le navigateur Firefox qui aide à écrire les chemins XPath.

Sources et ressources

  • Blog de José Paumard, Une première requête Xpath, 2018.
    Lien
  • CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 3 “Sélectionner des données avec XPath”.
    Lien
  • MDN web docs, Xpath, mis à jour le 28 mai 2022.
    Lien
  • Site de Fabien Torre, Cours sur les requêtes XPath, Université de Lille, mis à jour le 21 décembre 2021. Licence CC-BY-NC-NA.
    Lien
  • W3C Schools, XPath Tutorial.
    Lien

SELECTEURS CSS

Rappel

  • Le CSS est un langage employé pour mettre en forme la structure d’une page html.
    En général le CSS se trouve dans un fichier à part, relié au fichier html (le fichier CSS et les fichiers HTML sont dans un même dossier), ou dans le header du fichier html.
    Le CSS va cibler des éléments html pour les mettre en forme avec des sélecteurs.
  • La technique du scraping utilise des sélecteurs, notamment des sélecteurs CSS qui sont un pseudo méta-langage qui servent à cibler les éléments de la structure html pour en extraire du contenu.

Les sélecteurs CSS :

  • sélecteur de type : on reprend le nom de la balise html (body, h1, h2, h3, p, div, etc.).
  • Exemple :body {,
    pour mettre en forme ce qui est dans le body de la page html.
    On peut ajouter une couleur de fond, une taille de police, etc.
  • sélecteur d’attribut : dans le css, on le cible par le nom de la balise + entre crochet le nom de l’attribut :
  • Exemple a[href*="cnrs"],
    auquel on ajoute une mise en forme (couleur, police, fond, épaisseur de police).
  • sélecteur d’identifiant : dans le CSS on les cible par le dièse + nom de l’identifiant + {.
  • Exemple : #bonjour {,
    auquel on ajoute une mise en forme (couleur, police, fond).

Rappel : en html, un identifiant est un attribut que l’on applique à une balise. La valeur attribuée à un identifiant est unique par document.
Exemple : <image id="photodevacance1734.png">

  • sélecteur de classe : dans le css, on la cible par un point + nom de la classe + {.
  • Exemple : .paragraphe {,
    auquel on ajoute une mise en forme (couleur, police, fond, épaisseur de police).

Rappel : en html, une classe est un attribut que l’on applique à une balise. La valeur d’une classe peut être appliquée à plusieurs éléments de nature différente du documents.
Exemple : class=”red” peut être appliqué à une balise <p></p> et <h1></h1>.

Rappel : les attributs “id” et “class” sont surtout utilisés dans le html pour la mise en forme. Ils servent à appliquer des styles CSS aux éléments qui les contiennent. Ainsi, ils constituent des sélecteurs CSS particulièrement utiles.

  • sélecteurs combinés : assemblent plusieurs sélecteurs en une seule phrase. On combine plusieurs sélecteurs au sein d’un sélecteur.
    Combiner le sélecteur de la classe + le descendant direct de la classe s’écrit :
    .paragraphe > a {.

Sources & ressources

  • Site de Nicolas Aune, Apprendre html et CSS.
    Lien
  • ScrapyFly, billet de blog, Parsing HTML with CSS Selectors, 07 février 2022.
    Lien
  • Vergnaud (Frédéric), Extractify – un plugin Chrome d’extraction des données par son concepteur Frédéric Vergnaud, Tuto MATE-SHS, 14 décembre 2020.
    Lien
  • MDN Web docs, Sélecteurs CSS, mis à jour le 17 juin 2022.
    Lien
  • Site de Pierre Giraud, Les attributs HTML class et id et les sélecteurs CSS associés.
    Lien

EXPRESSIONS REGULIERES ou REGEX

Définition

Les expressions régulières ou expressions rationnelles ou RegEx sont un outil de type “rechercher et remplacer”.
Elles vont chercher un motif, une expression, dans le texte, et réaliser une opération sur ce motif.
Cette opération peut être : trouver le motif, le remplacer ou l’extraire.
C’est un outil très utile quand on travaille avec du texte notamment du texte non structuré.
C’est un outil utilisé très fréquemment en informatique.
En plus d’être un outil, RegEx c’est aussi un langage très puissant.

Qu’apportent-elles de plus que l’opération “ctrl+F” ou “cmd+F” ?

Elles permettent par exemple de trouver toutes les adresses mails ou encore toutes les URL dans un fichier texte comme un fichier html.
Elles permettent de trouver des occurences d’un terme ou d’une expressions à un endroit particulier de la phrase. Par exemple, trouver le mot “ciao” en début de phrase uniquement et non pas en fin de phrase.
Elles permettent aussi de calibrer le nombre de résultats qu’on veut extraire à partir d’une requête. Par exemple on peut extraire tous les “ciao” d’un texte ou seulement huit “ciao” ou huit “ciao” en début de phrase et huit “ciao” en fin de phrase.

Concrètement comment se présente une RegEX ?

C’est une chaîne de caractères.
Certains de ces caractères ont une fonction spécifique. L’ensemble de ces fonctions basées sur des caractères forment la syntaxe ou la grammaire des expressions régulières. Ainsi, il y a des règles à suivre pour rédiger une expression régulière qui soit correctement interprétée par un moteur.
Ce moteur peut avoir la forme d’une interface graphique ou celle d’une interface textuelle (éditeur de texte, IDE).

Quelques règles de syntaxe des RegEx

  • RegEx prend en compte la casse (majuscule ou minuscule).
    Si on écrit b, elle sélectionne tous les caractères “b” du fichier comme les “b” de Abou Dabi mais pas celui de Boston.
  • Si on écrit horticu, il sélectionne “horticulture”, “horticulteur” mais pas “horticole” car la lettre suivant le “c” n’est pas un u.
  • Si on écrit une date avec des tirets underscore comme 11_09_2001 il ne sélectionne PAS la date écrite avec des tirets “11-09-2001”.
  • L’ordre des caractères est pris en compte par les RegEx. Si on écrit 1981 il ne sélectionne pas “1891” car la place du 9 et du 8 est inversée.
  • Les RegEx peuvent intégrer des inconnues dans les opérations ce qui permet de généraliser une requête. Si on écrit p[a-z]rf, la RegEx peut sélectionner “parfum”, “parfait”, “perfuser” “perfide”. Autrement dit il retient toutes les chaînes de caractères qui comprennent un “p” minuscule suivi de n’importe quelle lettres suivie d’un “r” et d’un “f”.

Certaines règles de syntaxe permettent de généraliser davantage. Par exemple, si on écrit :

  • \d la RegEx sélectionne n’importe quel nombre.
  • \w la RegEx sélectionne n’importe quel mot, chiffre, ou _.
  • . la RegEx sélectionne n’importe quel caractère.

Certains caractères ou opérateurs permettent de localiser la requête au sein de la chaîne de caractère. Par exemple, si on écrit :

  • ^ la RegEx sélectionne le début de la ligne.
  • $ la RegEx sélectionne la fin de la ligne.
  • \b la RegEx sélectionne la fin d’un mot ou plus précisément, la frontière entre un caractère de type \w et un caractère appartenant à un autre type comme un espace.
  • Exemples :
  • ^Boston, la RegEx sélectionne “Boston, je rêve d’y aller.” mais pas “Je rêve d’aller à Boston”.
  • Boston$, la RegEx sélectionne “Je rêve d’aller à Boston.” mais pas “Boston, je rêve d’y aller”.
  • jardin\b : la RegEx sélectionne “jardin” mais pas “jardiner” ni “jardinier”.
  • \b\d : la RegEx sélectionne les chiffres en “début de mot”

Il existe aussi des quantificateurs qui précisent la quantité de ce qui les précède immédiatement :

  • a? signifie que ce qui précède (“a”) est présent zéro ou une fois. Cela équivaut à la question “Y a-t-il un “a” ?”.
  • a* signifie que ce qui précède (“a”) est présent zéro fois ou plus.
  • a+ signifie que ce qui précède (“a”) est présent une fois ou plusieurs fois.
  • a{3} signifie que ce qui précède (“a”) est présent 3 fois d’affilée.
  • ou encore : \d{4} = sélectionne n’importe quel suite de 4 chiffres minimum : “1968”, “12345” mais pas “123”.
  • a{2,} signifie que ce qui précède (“a”) est présent 2 fois ou plus.
  • a{2,5} signifie que ce qui précède (“a”) est présent entre 2 et 5 fois (aa, aaa, aaaa, aaaaa mais pas a ni aaaaaa).

Attention, parfois le langage RegEx et le langage naturel se confondent notamment avec des caractères tels que : ., +, *, \, [], ?. Donc pour spécifier qu’on veut mettre des caractères en langage naturel on utilise \. Cela s’appelle “échapper un caractère”.

Un outil

Regex101 : site où tester ses expressions régulières.

Sources & ressources :

  • Perret (Arthur), Cours sur les expressions régulières, mis à jour le 29 mars 2022.
    Lien
  • Davechild, Regular Expressions Cheat Sheet : un tableau récapitulatif des éléments RegEx et de leur signification.
    Lien
  • Regular expressions info : site de formation aux expressions régulières.
    Lien
  • RexEgg : site de formation aux expressions régulières.
    Lien

PARSER ou ANALYSEUR SYNTAXIQUE

Le parser sert à exploiter du texte brut. C’est un outil permettant de mettre en évidence, de dégager une structure à partir d’un texte brut pour, ensuite, extraire les données voulues rapidement. La structure dégagée peut être tabulaire (CSV) ou arborescente (XML, HTML).

Sources & ressources

  • CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 2 “Ecrire et surtout lire le web”.
    Lien

API : Application Protocol Interface

Définition

Aujourd’hui, il y a une tendance à utiliser le terme API pour désigner un web service. Le web service est un type d’API, plus précisément une API disponible depuis une URL.
Définition d’Emmanuelle Bermès, Le web sémantique en bibliothèque, p. 35 :

“Les API sont des interfaces permettant à des applications de communiquer entre elles : une API fournit une façade formalisée par laquelle un logiciel offre des services à d’autres logiciels (récupération de données ou autres interactions). On parle aussi de Web service pour désigner des API qui utilisent les technologies du web. La plupart des sites du Web 2.0 (Amazon, Twitter, Facebook,…) offrent des API qui permettent à d’autres sites ou services en ligne de réutiliser le contenu qu’ils produisent (il est ainsi possible, par exemple, de récupérer directement et automatiquement sur son compte Facebook les tweets de son compte Twitter). La plupart de ces API sont propriétaires, c’est-à-dire que les interactions possibles dépendent du bon vouloir du fournisseur.”

Autrement dit :

Un producteur de données se sert d’une API (ou Web service) pour exposer ses données.
L’utilisateur de données se sert de l’API pour récupérer des données notamment via des URLs. Le système des API est très répandu, il sert à interroger des bases de données et à renvoyer des résultats à l’utilisateur.
Par exemple, une application météo sur un smartphone utilise une API qui va se connecter à une base de données où se trouvent les informations météorologiques pour les récupérer et les afficher elle-même. Les données récupérées via une API sont souvent destinées à être traitées par un autre programme informatique (et non pas directement par l’humain). Le fichier récupéré est donc peu lisible.
Les API sont toujours accompagnées d’une documentation qui donne des explications sur la manière de récupérer et traiter les données. Pour utiliser une API il est crucial de lire la documentation.

Concrètement, une API de type web service est une URL avec en fin d’URL un paramétrage pour filtrer les données. Ce paramétrage est propre à chaque producteur d’API.

API = URL + paramétrage

Différents types d’API

Il existe plusieurs types d’API. Il existe des API privées et des API publiques.
L’API privée ne peut être utilisée qu’en interne.
L’API publique est accessible à tous, elle autorise des tiers à développer des applications qui interagissent avec elle.
Dans l’univers des API web, il existe les API REST, basées sur le protocole HTTP, les API GraphQL, les API SOAP.

Quelle est la différence entre API et Web scraping ?

Les API permettent de récupérer des données brutes, sans la mise en page du html qu’on a avec le web scraping.

(Source : Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, tuto MATE-SHS, 24 mai 2018)

Quelques outils

  • Rapid API : site web qui tente de recenser toutes les API existantes et gratuitement accessibles.
  • Postman, logiciel gratuit pour formuler des requêtes à envoyer à une API et structurer les résultats de requête renvoyés par l’API.

Sources & ressources

  • Bermès (Emmanuelle), Le web sémantique en bibliothèque, Paris, Editions du Cercle de la Librairie, 2013, p. 35.
  • Site La Capsule.
    Lien
  • Geoffroy (Géraldine), Cours M2 Monde du monde du document, Université Cote d’Azur, 2021-2022.
  • Pedro (Kassandre), Schiller (Raye), Utilisez Postman pour formuler vos requêtes, Site OpenClassrooms, mis à jour le 31-03-2022.
    Lien
  • Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, tuto MATE-SHS, 24 mai 2018.
    Lien
  • Bertrand, C’est quoi une API REST ? S’initier aux API avec Postman, 23 mars 2020.
    Lien

CAHIER DE LABORATOIRE ELECTRONIQUE

Il s’agit d’un outil de planification de la recherche, de collecte des données, de traitement et d’analyse des données produites par le chercheur. Il permet d’enregistrer et de répertorier les données produites en vue de leur réutilisation.
Dans sa version numérique, le cahier de laboratoire facilite :

  • le partage d’information avec le rattachement de données brutes,
  • la recherche d’information et de données,
  • la datation grâce à l’horodatage,
  • le travail collaboratif

Il concerne essentiellement les disciplines qui produisent des données en laboratoires. A priori, on pense davantage à un usage pour les sciences techniques et médicales.

Sources & ressources

  • Groupe de travail Atelier Données, Guide de bonnes pratiques sur la gestion des données de la recherche, 8 décembre 2021.
    Lien
  • Groupe de travail sur les cahiers de laboratoires électroniques, Rapport, Septembre 2021.
    Lien

CARNET DE TERRAIN ELECTRONIQUE

Définition

Il peut intéresser les chercheurs de plusieurs disciplines qui collectent des données sur un terrain : sociologues, anthropologues, ethnologues, archéologues.
Le carnet de terrain électronique permet la prise de note, la prise de son, la photographie. Il améliore la qualité des données collectées, permet de les utiliser plus rapidement puisque le temps de ressaisie est annulé.
D’un point de vue technologique, plusieurs techniques existent pour mettre en oeuvre et développer des carnets de terrain :

  • utilisation d’une application nomade à télécharger
  • utilisation d’une application web
  • développement d’une application spécifique avec un langage de programmation
  • développement d’une application grâce à une boîte à outils de création de carnet de terrain
  • développement d’une application en adaptant des logiciels existants.

(Source : Atelier données, Guide de Bonnes Pratiques sur la gestion des données de la Recherche, 08 décembre 2021)

Outils

  • KoBotoolbox :
    Outils de collecte de données (mais aussi d’analyse et de gestion).
    Il peut être utilisé en ligne et hors ligne, sur des smartphone, tablette.
    Mais, pour les chercheurs, la capacité de stockage est limitée à 5 Go par mois.
    Outil originellement créé pour la collecte de données en contexte humanitaire.
  • ODK :
    Logiciel Open Source payant de collecte de données mobile. Il fonctionne hors ligne, il permet de créer des formulaire, et une fois les données collectées, il est possible de les analyser en téléchargeant les données ou en connectant des applications d’analyse comme R.
    Autre accès.
  • ODK Collect :
    Application Android de collecte de données à télécharger sur un smartphone.
  • GeoPoppy :
    Outil Open Source permettant la collecte et la consultation de données géolocalisées.

Sources & ressources

  • CNRS-Inist, LaLIST, La veille pour vos informations scientifiques, techniques et stratégiques, Carnet de terrain électronique, Outils nomades.
    Lien
  • Groupe de travail Atelier Données, Guide de bonnes pratiques sur la gestion des données de la recherche, 8 décembre 2021.
    Lien
  • Onésime, Wiki Carnet de terrain électronique. Site d’information pour faciliter la saisie d’observations terrain, en milieu naturel, mis à jour 3 juin 2020.
    Lien
  • Réseau bases de données, Atelier “Carnets de terrain électroniques”, CNRS, 13 avil 2018.
    Lien

ORGANISATION DES DONNÉES COLLECTÉES

LE NOMMAGE DES FICHIERS

Les règles de nommage

  • Un nom court et explicite qui reflète le contenu du fichier. Exemple : Règles_nommage.pdf.
  • Certains systèmes techniques autorisent un nombre limité de caractères.
    Au-delà, des problèmes d’accès, de troncage, de restauration peuvent survenir. Par exemple, Windows limite le chemin d’accès à 256 caractères (nom des dossiers + noms des sous-dossiers à parcourir pour accéder au fichier + nom du fichier).
  • Pour raccourcir le nom du fichier, supprimer les mots vides : “le”, “un”, “et”, “ou”, etc., et utiliser abréviation, acronyme, nom de projet.
  • Éviter les espaces et les séparateurs
    : deux-points
    / ou \ barre oblique
    car certains systèmes d’exploitation reconnaissent ces caractères comme des séparateurs de répertoire.
    Donc, remplacer par un tiret – ou un underscore _ ou des majuscules à chaque initiale
  • Éviter les signes de ponctuation, parenthèses, guillemets, crochets
    () {} <> [] |. , ; ! ? ” ‘ *
    car ces caractères sont souvent employés dans les langages de programmation et de script.
    Donc, privilégier les caractères alphanumériques uniquement.
  • Éviter les signes diacritiques :
    à â é è ê ë î ï ô ö ù û ü ç
  • Éviter les caractères spéciaux du type : $ £ ¥ @ © ™,
    car en cas de partage de fichiers, les signes diacritiques peuvent ne pas être reconnus par certains systèmes d’encodage comme l’ASCII. Avec les caractères spéciaux, il peut y avoir des problèmes en cas d’export du fichier dans un autre format.
    Donc, privilégier les caractères alphanumériques uniquement.
  • Date et numérotation. Privilégier la date au format AAAA_MM_JJ ou AAAAMMJJ qui permet de présenter les fichiers dans l’ordre chronologique si la date est indiquée au début du nom des fichiers.
    Pour numéroter les fichiers, utiliser le même nombre de chiffres : 01, 02,… 99 plutôt que 1, 2,… 99. Ainsi, ils s’affichent dans le bon ordre séquentiel.
  • Placer l’élément le plus important en premier.
    Pour les fichiers en cours d’élaboration indiquer la version dans le nom. V01, V02 ou encore VP pour version provisoire, VF pour version finale.
  • Créer un plan de nommage qui recense et explique les règles choisies. Ce plan peut contenir une liste des abréviations à utiliser. Cette liste peut aussi figurer dans un document à part.

Pourquoi ces règles ?

  • Pour faciliter la recherche des fichiers.
  • Pour garantir l’accessibilité des fichiers.
  • Pour faciliter le partage et le travail en équipe.
  • Pour éviter les problèmes techniques entre systèmes d’exploitation.
  • Pour assurer une bonne gestion en prévision de l’archivage.

Sources & ressources

  • Urfist Méditerrannée, Comment bien nommer ses fichiers ?, DoRANum, mis à jour le 12 octobre 2018.
    Lien
  • Archives départementales du Tarn, Règles de nommage des fichiers, 2017.
    Lien
  • Service informatique de HES-SO Fribourg, Règles de nommage des noms de fichiers ou de dossiers.
    Lien
  • Université de Lausanne, Règles de nommage des fichiers et dossiers, 2019. Ce document donne des noms de logiciels pour renommer des fichiers par lot.
    Lien

OÙ VONT LES DONNÉES COLLECTÉES : LE STOCKAGE

Cela peut dépendre de qui effectue la collecte et qui travaille sur le projet de recherche, si on travaille seul ou en équipe.
Selon les cas, le matériel de stockage peut être personnel : ordinateur, disque dur externe, clé USB, espace personnel sur le cloud.
Le matériel de stockage peut aussi être partagé et/ou collaboratif : serveur institutionnel, espace partagé sur le cloud, espace Huma-Num, ordinateur du laboratoire de recherche.
Le lieu de stockage peut dépendre de l’usage futur des données :

  • sauvegarde uniquement,
  • traitement et analyse
  • publication.

Le stockage des données dépendra également de la puissance du matériel informatique à disposition du chercheur. Parallèlement, il faut penser à anticiper le poids des fichiers de données de façon à choisir le lieu de stockage le plus adéquat. Un vieil ordinateur personnel dont la mémoire est presque pleine n’est peut-être pas l’endroit le plus indiqué pour stocker et sauvegarder ses données.

SAUVEGARDE 3-2-1

Penser à sauvegarder les données en plusieurs endroits.
La technique de la sauvegarde 3-2-1 préconise :

  • de faire 3 copies de ses données
  • de les sauvegarder sur 2 supports différents (ordinateur, clé USB, disque dur externe, cloud)
  • de mettre 1 copie à distance, à un autre endroit physique.

Sources & ressources

Les lieux de la pérennisation

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

L’archivage

Une infrastructure : la Section Aurore

Infrastructure créée en 2007 au sein de l’association des archivistes français. Elle est composée de membres issus du monde des archives, du milieu des universités, rectorat, grandes écoles et organismes de recherche français et européens.
Dans le but de promouvoir la gestion rationnelle des données de recherche, cette section fournit des outils, des publications, des formations. Elle a notamment élaboré un référentiel traitant des question d’amélioration de la gestion des données de recherche, de leur sécurisation, et de leur conservation.

Archivage : définition

Il s’applique à tous les documents et toutes les données produites ou reçues que ce soit sur support papier ou numérique. Pour chaque type de document, il s’agit de déterminer la durée de conservation, le sort final des documents à l’issue de cette période de conservation et de prendre en compte les aspects légaux.
Un document connaît trois âges qui correspondent à trois usages :

  • l’usage courant quand le document est utilisé régulièrement,
  • l’usage ponctuel quand le document est conservé à titre d’information et consulté ponctuellement. A ce stade, le document peut être remis à un service d’archives (celui de l’université).
  • l’usage historique : le document présente un intérêt pour la recherche et devient une source de la recherche historique.

A l’issue de l’usage ponctuel, un tri est effectué pour déterminer le sort final du document. Si le document a un usage historique, il est versé aux archives définitives
(bordereau de versement). S’il n’en a pas, il est éliminé suite au remplissage d’un bordereau d’élimination.
Un établissement de recherche est responsable de la conservation de ses archives et des conditions de leur conservation. Les documents doivent être accessibles et consultables.
Dans le cas des unités mixtes de recherche du CNRS, les archives sont conservées au service d’archive du lieu d’implantation.

(source : DoRANum Callisto, Le référentiel de gestion des archives de la recherche)

Les risques d’une absence ou d’un mauvais archivage des documents et données numériques

  • l’obsolescence matérielle
  • l’obsolescence logicielle
  • l’obsolescence du format de fichier
  • la perte de signification du contenu

Les objectifs de l’archivage numérique pérenne

L’archivage numérique pérenne a trois objectifs sur le long terme (plus de 30 ans) :

  • conserver le document et son intégrité sur son support de stockage.
  • rendre accessible le document autrement dit, pouvoir trouver et lire le document (ouvrir les fichiers)
  • préserver l’intelligibilité du document de façon à ce qu’il soit compréhensible pour les utilisateurs du futur.

archivage vs. stockage

L’archivage numérique pérenne se distingue du stockage car le stockage ne prend en compte que les deux premiers objectifs de l’archivage et agit sur le moyen terme.

Quand organiser l’archivage ?

Il est important de réfléchir à la politique d’archivage dès le début du projet de recherche de façon, notamment, à anticiper les aspects financiers qui doivent être présentés dans le budget. Il s’agit ainsi de penser au budget pour l’achat de matériel dédié, pour des prestations informatiques ou pour le recours à un hébergeur tiers.

Qui ? les acteurs de l’archivage

L’archivage concerne divers acteurs :

  • les chercheurs et scientifiques qui apportent leur expertise sur le contenu informationnel des données.
  • les juristes qui apportent leur expertise en matière de durée de conservation légale et de droit de la propriété intellectuelle.
  • les archivistes qui apportent leur expertise en matière de critères de sélection et d’organisation des données.
  • les documentalistes qui apportent leur expertise en matière de métadonnées, de catalogage des données et de description (ou indexation) des données.
  • les informaticiens qui apportent leur expertise technique sur les supports de stockage, les formats, les technologies matérielles et les systèmes d’exploitation.

Le modèle OAIS de l’archivage des données

OAIS ou Open Archival Information System est un modèle suivi par les plateformes d’archivage qui décrit les différentes étapes et opérations d’archivage des données.
Ce modèle est devenu une norme internationale de type ISO.
Il structure la pérennisation en six entités fonctionnelles :

  • l’entité “entrée” gère les paquets de données et d’informations à verser dans l’archive et les transmet au stockage.
  • l’entité “stockage” stocke et assure la sauvegarde des paquets archivés.
  • l’entité “gestion des données” fournit toutes les informations relatives au fonctionnement de l’archive comme la volumétrie, l’âge, le format et les droits associés aux informations et aux données archivés.
  • l’entité “administration du système” pilote et coordonne le système.
  • l’entité “planification de la pérennisation” assure une veille technologique sur l’archive, fait des recommandations sur les évolutions nécessaires et les stratégies comme la recopie de supports, la migration de format pour anticiper l’obsolescence technologique.
  • l’entité “accès” rassemble les services qui sont en contact direct avec les utilisateurs. Elle communique les objets archivés aux utilisateurs.

Dans ce modèle le statut des objets à archiver change.
Avant l’archivage, les producteurs fournissent les objets à archiver et travaillent sur des objets numériques qui sont des SIP (Paquet d’Informations de Soumission). Une fois archivés, ces objets deviennent des AIP (Paquet d’Information à Archiver). Les utilisateurs ont, eux, accès à ces objets qui sont alors des DIP (Paquet d’Information pour la Diffusion).
(Source : Inist-CNRS, Le modèle OAIS)

Sources & ressources

  • DoRANum Callisto, Le référentiel de gestion des archives de la recherche, 11 septembre 2019. Vidéo Canal-U
  • Callisto, La Minute archivage pérenne des données, 4 avril 2022. Vidéo Canal-U
  • Inist-CNRS, Le modèle OAIS, mis à jour le 29 juin 2018.
    Lien,
    DOI : 10.13143/7WE0-K508.
  • Site du CINES.
  • CINES, Le concept d’archivage numérique, mis à jour le 6 janvier 2020.
    Lien

Site d’archivage pérenne

Son objectif est de garantir la conservation physique des données et leur intégrité.
La plateforme doit pouvoir s’adapter aux évolutions technologiques et matérielles. Elle doit donc être évolutive et pouvoir traiter de gros volumes de données. Elle doit garantir la protection des équipements de stockage comme les serveurs. Elle assure également la gestion des droits d’accès et d’utilisation.
Elle doit posséder des outils de contrôle des supports (cf. la plateforme Facile du CINES) ainsi que des outils d’aide à la gestion des risques.
Elle doit produire des historiques et des statistiques et permettre des audits qui valideront sa conformité.

(Source : Callisto, Caractéristiques d’un site d’archivage pérenne)

le CINES

Le CINES ou Centre Informatique National de l’Enseignement Supérieur est l’organisme que le ministère de l’Enseignement supérieur et de la Recherche (ESR) a chargé de mettre eu oeuvre l’archivage électronique du patrimoine scientifique de la communauté de l’ESR.
Elle fournit deux outils majeurs : l’outil FACILE et la plateforme PAC.
L’outil FACILE permet au chercheur de vérifier la validité du format des fichiers qu’il souhaite archiver.
La plateforme PAC (Plateforme d’Archivage du CINES) est l’endroit où le versement des fichiers s’effectue.
La TGIR Huma-Num constitue l’organisme d’évaluation des demandes d’archivage et d’accompagnement des chercheurs pour les sciences humaines et sociales.

(Source : Inist-CNRS, Stockage et archivage : fiche synthétique)

Evaluation des sites d’archivage & certifications

Pour mesurer la qualité d’un site d’archivage pérenne plusieurs outils ont été mis au point. Ils peuvent relever d’un processus d’auto-évaluation, d’un audit réalisé par des experts extérieurs ou encore mêler les deux approches. Au sein de ces outils et processus, on compte :

  • Checklist TRAC
  • Drambora
  • CoreTrustSeal
  • Norme ISO 16-363

La checklist TRAC est un document qui présente une liste de critères classés en trois groupes : l’infrastructure organisationnelle, la gestion des objets numériques, l’infrastructure technique et sécurité. Elle permet à un site d’archivage pérenne d’auto-évaluer sa fiabilité, sa pérennité et les compétences de son personnel. Dans un deuxième temps, des auditeurs analysent cette auto-évaluation avant d’effectuer une visite du site d’archive et d’attribuer une note de 1 à 5 au trois groupes de critères. Il en résulte une certification qui expire après un délai de 4 ans et qui doit alors être renouvelée.

Drambora est une méthode d’audit interne des archives numériques développée en 2007. Elle fonctionne sur un processus d’auto-évaluation des risques de façon à mettre en oeuvre des solutions d’amélioration.

CoreTrustSeal désigne à la fois un organisme international de certification et la certification qu’il délivre. L’obtention de cette certification constitue une garantie de protection et de gestion optimale des données.

La norme ISO 16-363 fournit des recommandations organisées autour de trois axes majeurs pour mener un audit. Ces trois axes sont sensiblement les mêmes que ceux de la Checklist TRAC : l’infrastructure organisationnelle, la gestion des objets numériques, la gestion des risques pour l’infrastructure et la sécurité. L’audit permet de dégager les éléments qui répondent aux critères de ceux qui sont à améliorer.

(Source : Inist-CNRS, Evaluation et labelisation des sites d’archivage pérenne)

Entrepôt de données

Base de données en ligne permettant le dépôt, la recherche, la collecte, la description, la conservation et la diffusion des jeux de données. Une fois déposés, les jeux se voient attribuer un DOI et, très souvent, une licence de réutilisation. Les jeux de données sont accessibles sur l’entrepôt, et peuvent être réutilisés, éventuellement après une période d’embargo.
Les entrepôts ont plusieurs fonctionnalités :

  • téléchargement et import de fichiers
  • organisation des données en collections
  • conservation : stockage sécurisé et archivage à long terme
  • attribution d’un identifiant lors du dépôt
  • intégration possible d’identifiants préexistants chez certains entrepôts comme zenodo.
  • description des données avec des métadonnées et de la documentation complémentaire
  • contrôle des droits d’accès aux données (libre, embargo, demande d’accès, clos), conditions d’utilisations et licences.
  • gestion des utilisateurs et de leurs droits
  • recherche simple et/ou avancée dans les métadonnées, parfois dans les données, navigation et filtres par facette ; affichage des métadonnées et/ou des données ; export des métadonnées
  • exploration et visualisation de données
  • exposition des métadonnées via OAI-PMH ou triple store, API.
  • statistiques d’usage des données.
    Les entrepôts sont de plusieurs types :
  • généralistes et multidisciplinaires : Archive.org, Nakala, MediHAL, Zenodo.
  • disciplinaires : bibliothèques virtuelles humanistes, Ortolang, CNRTL, CocoOn, ArkeoGIS, Geoportail (IGN), Archipolis pour les sciences politiques.
  • liés à une institution : Data.gouv, DataBNF, Hal.

Nakala : l’entrepôt des SHS

Consulter les onze vidéos de formation à la gestion des données avec Nakala.
(Source : Site Canal-U, chaîne de la TGIR Huma-Num, 2021.)

Les critères de choix d’un entrepôt

Les annuaires d’entrepôts comme Re3data permettent de chercher des entrepôts en appliquant des filtres selon le type d’entrepôt que le chercheur souhaite utiliser :

  • disciplinaires ou non
  • certifié ou reconnu
  • mettant en place des restrictions d’accès ou des licences de diffusion
  • permettant de modifier les données et/ou accéder aux différentes versions
  • avec attribution d’un identifiant pérenne aux données

Les pages “politique” de l’entrepôt envisagé fournissent des informations pouvant intéresser le chercheur comme :

  • le lieu d’hébergement du serveur
  • le coût du dépôt
  • le statut de l’entrepôt (public, privé)
  • le type de données et les formats de fichiers acceptés
  • le lien avec la publication scientifique (article, thèse)
  • la politique de préservation à long terme des données.

La navigation sur le site de l’entrepôt permet de vérifier certains éléments comme :

  • l’ergonomie de l’entrepôt et sa facilité d’utilisation
  • la qualité des métadonnées autrement dit de la description des données.
  • la présence de statistique d’utilisation de l’entrepôt (statistiques de consultation, de téléchargement).
    (Source : Urfist Méditerranée, Les critères pour choisir son entrepôt)

Sources & ressources

  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6 juillet 2017, Licence CC-BY.
    Lien
  • Callisto, Caractéristiques d’un site d’archivage pérenne, 10 octobre 2017. Vidéo Canal-U.
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Inist-CNRS, Evaluation et labellisation des sites d’archivage pérenne, mis à jour le 2 août 2018.
    Lien,
    DOI : 10.13143/V1QY-8318.
  • Inist-CNRS, Stockage et archivage : fiche synthétique, mis à jour le 6 août 2018.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?”, décembre 2017. Licence CC-BY.
    Lien
  • Site Canal-U, chaîne de la TGIR Huma-Num, 2021.
    Lien
  • URFIST Méditerranée, Les critères pour choisir son entrepôt, DoRANum, mis à jour le 28 mai 2018.
    Lien,
    DOI : 10.13143/ZQPB-9449.
  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien

Les métadonnées

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

Définition générale

Souvent qualifiées de données sur les données, les métadonnées sont des données qui décrivent et identifient une ressource et son contenu. Cette ressource peut-être une donnée, une publication, un document, un jeu de données, un site web.
Pour prendre un exemple plus parlant, une boîte de conserve et son étiquette décrivant le contenu de la boîte (les ingrédients, la date de fabrication, la date de péremption, etc.) correspondent aux données et à ses métadonnées.

Il existe plusieurs types de métadonnées :

  • Les métadonnées embarquées qui sont générées automatiquement par les appareils (données GPS, date, calibrage, etc).
  • Les métadonnées enrichies sont ajoutées par l’auteur, le chercheur. Par exemple, il peut ajouter un titre, une licence, des mots-clés, un organisme de rattachement.
    Dans l’idéal, il faut compléter les métadonnées embarquées par des métadonnées enrichies au fur et à mesure de l’avancement du projet de recherche. Pour ce faire, il existe des outils comme les standards de métadonnées ou encore les schémas de métadonnées (voir ci-dessous, rubrique “Enrichissement des métadonnées”).
  • Les métadonnées descriptives :
    elles servent à identifier un objet (description bibliographique basique : titre, auteur, date, sujet ; identifiant pérenne), à connaître le contenu d’un objet, à identifier les parties et la structure de l’objet (le nombre de fichiers composant un document et les relations entre ces fichiers)
  • Les métadonnées administratives et de gestion :
    Elles servent à identifier et authentifier l’auteur (signature électronique), gérer les cycle de vie de l’objet pour conserver son historique et ses modifications (durée d’utilité administrative, sort final, changement de métadonnées, gestion des versions), garantir l’intégrité du fichier (empreinte électronique).
  • Les métadonnées techniques :
    Elles donnent des informations sur l’environnement matériel et logiciel de l’objet, sur les fichiers (taille, compression), sur les formats.
    (source : Casanove (Alexia de), L’archivage pérenne des données scientifiques, 7 février 2019.)

Les métadonnées de pérennisation

Un dernier type de métadonnées concernent particulièrement la pérennisation. Elles fournissent des informations sur les formats de données, sur les systèmes utilisés pour les produire et sur leurs versions. Elles sont indispensables pour assurer la lisibilité des données et permettre la migration mieux maîtrisée d’un format à un autre.
Elles donnent des informations sur les droits d’accès aux données.

(Sources : Université Numérique francophone, Archiver l’information)

Les métadonnées de pérennisation sont décrites dans des dictionnaires ou des standards spécialisés (pour une définition de la notion de standard, voir ci-dessous, rubrique “Enrichissement des métadonnées”) comme PREMIS, METS, EAD.

  • PREMIS (Preservation Metadata : Implementation Strategies) est un dictionnaire de données fournissant une liste des métadonnées que les services d’archives doivent connaître. Ce dictionnaire, hébergé par la Bibliothèque du Congrès à Washington, a été développé et est maintenu par un groupe international d’experts.
  • METS (Metadata Encoding and Transmission Standard) est un standard d’empaquetage XLM ou schéma XML permettant d’empaqueter plusieurs types de métadonnées décrivant un objet numérique. Il peut être employé comme modèle d’échange d’objet numériques entre centres d’archives ou entrepôts. Ce standard est également hébergé par la Bibliothèque du Congrès.
  • EAD (Encoded Archival Description) est un standard d’empaquetage de métadonnées spécialisé dans la description des fonds d’archives et des collections de manuscrits. Toutefois, il peut être appliqué à toute collection hiérarchisée de documents ou d’objets comme les collections muséales.

Sources & ressources

  • Casanove (Alexia de), L’archivage pérenne des données scientifiques, 7 février 2019.
    Lien
  • CINES, Les métadonnées de pérennisation.
    Lien
  • Inist-CNRS, Cours introductif sur les métadonnées, 27 avril 2022.
    Lien,
    DOI : 10.13143/VWCE-G965.
  • Inist-CNRS, Le cycle des métadonnées, mis à jour le 7 juin 2022.
    Lien,
    DOI : 10.13143/EAXE-C379.
  • Inist-CNRS, METS et PREMIS, outils pour les métadonnées de pérennisation, mis à jour le 2 juin 2022.
    Lien,
    DOI : 10.13143/5QZ1-5843.
  • Université Numérique francophone, Archiver l’information.
    Lien

ENRICHISSEMENT DES MÉTADONNÉES

Plusieurs outils et techniques permettent d’enrichir les métadonnées.

Les standards de métadonnées

Ce sont des schémas qu’un ensemble d’utilisateurs à adopté comme modèle. Ils sont donc reconnus, normalisés et largement utilisés. Utiliser un standard constitue une pratique respectant les principes FAIR, notamment l’interopérabilité.
Un standard fournit des éléments caractéristiques pour décrire une ressource. Ces éléments caractéristiques peuvent varier d’une ressource à l’autre, d’une discipline à l’autre. C’est pourquoi, les standards peuvent être propres à une discipline, à un type de données. La recherche pourra alors porter sur un élément caractéristique particulier de description. La description des éléments caractéristiques peut être définie et précisée par des vocabulaires spécifiques.

Exemples de standard de métadonnées

  • Dublin Core : standard généraliste et interdisciplinaire. Il est composé de 15 éléments :
  • title : nom de la ressource
  • subject : thème du contenu de la ressource
  • description : résumé, table des matières, etc.
  • creator : auteur principal de la ressource
  • publisher : entité responsable de la diffusion de la ressource
  • contributor : co-auteur
  • date : date de création ou de mise à disposition
  • type : nature du contenu (texte, image, son, vidéo)
  • format : format ou taille de la ressource
  • identifier : identifiant univoque : ISBN, ISSN, DOI, URI, URL, Handle, ORCID, etc.
  • source : référence à une ressource à partir de laquelle la ressource actuelle a été
    dérivée ou créée
  • language : langue originale de la ressource
  • relation : référence à une ressource apparentée (version antérieure, ultérieure, autre
    format, etc…)
  • coverage : périmètre spatio-temporel
  • rights : information sur les droits et licence associés à la ressource
  • EAD : standard de description des documents d’archives
  • Marc : standard de description des documents des bibliothèques
  • DDI : Data Documentation Initiative : standard disciplinaire pour les ressources des sciences sociales, comportementales et économiques.
  • MIDAS-Heritage : standard disciplinaire pour les ressources du domaine de l’architecture.
  • DwC : Darwin Core : standard du domaine de la biodiversité.

Le schéma de métadonnées

Si aucun standard de métadonnées ne convient, il est possible de créer un schéma de métadonnées. Toutefois, avec un schéma, les données seront moins FAIR, moins intéropérables.
Pour créer un schéma, il est préférable d’utiliser un standard existant généraliste comme Dublin Core et de le compléter avec un fichier de métadonnées spécifiques à ses besoins.
Si un standard existe mais est incomplet, il est conseillé d’utiliser les éléments de ce standard et de le compléter avec des éléments nouveaux.

Les langages documentaires ou vocabulaires contrôlés

“Les langages documentaires sont des vocabulaires contrôlés ou normalisés, dont le but est de répondre à l’équivoque du langage naturel et aux problèmes que posent la polysémie et l’homonymie. Ils servent à indexer et à décrire le contenu d’une ressource et visent à améliorer la recherche documentaire.
On distingue trois grands types de langages documentaires :

  • les schémas de classification,
  • les listes d’autorités ou de vedettes-matières et
  • les thésaurus.

Les classifications, à l’exemple de la Classification décimale de Dewey, proposent une organisation hiérarchique des concepts.
Les listes d’autorité ou vedettes sont des termes normalisés, qui doivent être obligatoirement utilisés dans le catalogage ou l’indexation, pour décrire le contenu des documents. On peut ici citer Rameau (Répertoire d’autorité-matière encyclopédique et alphabétique unifié), le langage d’indexation matière utilisé par la Bibliothèque nationale de France.

Enfin un thésaurus structure un vocabulaire contrôlé en décrivant l’ensemble des relations sémantiques qui relient des concepts.

L’emploi de vocabulaires contrôlés est une recommandation de l’Agence nationale de la recherche pour l’évaluation de la qualité des données dans les plans de gestion des données. De même, selon les principes FAIR, « pour être FAIR, les données doivent être décrites à l’aide d’un vocabulaire contrôlé respectant lui-même les principes FAIR. Il doit être facile à trouver grâce à un identifiant pérenne et unique, documenté et lisible par les machines »”.

(Source : Perrin (Emmanuelle), Bonnes pratiques pour structurer un thésaurus)

Il existe des thésaurus disciplinaires auxquels les chercheurs peuvent se référer :

  • PACTOLS (Peuples, Anthroponymes, Chronologie, Toponymes, Œuvres, Lieux et Sujets) : le thésaurus des sciences de l’Antiquité et de l’archéologie – de la préhistoire à l’époque contemporaine. Il liste et structure environ 60 000 concepts.
  • GEOETHNO : un thésaurus en développement à la bibliothèque Eric de Dampierre. Il est spécialisé dans les termes géographiques liés à l’ethnologie.
  • ArchiRès : le thésaurur de l’architecture
  • Loterre : le thésaurus de la science ouverte
  • Gemet : le thésaurus du domaine de l’environnement.
  • AGORHA : le thésaurus de l’INHA
  • TIMEL : le thésaurus des images médiévales
  • Savoirs : le thésaurus de l’histoire et de l’anthropologie des savoirs.

Les concepts d’un thésaurus sont classés selon les relations qu’ils entretiennent entre eux. Ces relations sont de différents types.
Un concept peut être lié à un concept générique, à des concepts spécifiques, à des concepts associés.
Par exemple, dans le thésaurus PACTOLS, le concept “divinités germaniques” est lié au concept générique “Divinités”. Il est lié aux concepts spécifiques “Ases”, “Odin”, “Thor”, “Vanes”. Enfin, il est lié au concept associé “panthéon germanique”.
Ces relations permettent de hiérarchiser et relier les concepts entre eux. Elles peuvent être représentées sous la forme d’un arbre aux multiples branches et ramifications.

Le but d’un thésaurus ou d’une liste d’autorité est également de proposer des termes et des orthographes normalisés que les chercheurs devront utiliser de façon à désambiguiser la description et à permettre l’interopérabilité.
Ainsi, la notice d’un thésaurus ou d’une liste d’autorités fournit le terme ou descripteur qui sera privilégié ainsi que les termes à éviter pour désigner un concept, une entité.
Par exemple, dans le RAMEAU de la BnF, le dieu Odin est décrit dans les métadonnées par le terme “Odin”. Ce terme est privilégié et est employé à la place et pour les variantes “Odinn”, “Wodan”, “Wöden”, “Wotan”, “Wothan”, “Wuotan”, “Wutan”.

Les vocabulaires contrôlés qui respectent les principes FAIR sont doté d’un identifiant pérenne unique ou PID (voir ci-dessous).

Un outil : Opentheso

Opentheso est un logiciel libre de création et de gestion de thésaurus multilingue. Il a été créé en 2005 pour la gestion du thésaurus PACTOLS. Il fait aujourd’hui partie des services proposés par la TGIR Huma-Num. Il est développé à la Maison de l’Orient et de la Méditerranée. Il permet, entre autres, de gérer de façon collaborative un thésaurus avec quatre niveaux d’intervention et de droits (SuperAdmin, Admin, Manager, Contributor) ou encore de générer automatiquement des identifiants pérennes (Handle, ARK).
Pour s’initier à son utilisation, le site du logiciel propose une page de tutoriels et de vidéos.

Sources & ressources

  • Dalbin (Sylvie), Référentiels, de quoi parle-t-on ?, Journée d’études de l’ADBS, 26 novembre 2013. Licence CC-BY-SA. Lien
  • Du thésaurus aux référentiels terminologiques, Journée d’études de l’ADBS, 2013. Lien
  • Groupe de travail Réutilisatibilité, Consortium Cahier, Vademecum pour la réutilisabilité des données, janvier 2022.
    Lien
  • Inist-CNRS, Cours introductif sur les métadonnées, 27 avril 2022.
    Lien,
    DOI : 10.13143/VWCE-G965.
  • Inist-CNRS, Métadonnées, standards, formats : fiche synthétique, mis à jour le 27 novembre 2017.
    Lien,
    DOI : 10.13143/VBJS-6288.
  • Kattnig (Cécile), “Référentiels, données d’autorité, thésaurus, ontologies, taxonomies…Pour en savoir plus !”, Bulletin des bibliothèques de France, 2008, n°5, p. 102-103. Lien
  • Etalab, Préparer les données à l’ouverture et à la circulation, 2021.
    Lien
  • Perrin (Emmanuelle), Bonnes pratiques pour structurer un thésaurus, carnet hypothèses Opentheso, mis à jour le 1er juin 2022.
    Lien
  • Référentiels, publié sur le site Isidore.science.
    Lien
  • Urfist Méditerrannée, Les principes FAIR, 4 décembre 2019.
    Lien,
    DOI : 10.13143/Z7S6-ED26.

La pérennisation des données

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

Définition

A la place du terme pérennisation, c’est souvent l’adjectif “pérenne” que l’on rencontre dans des expressions comme “archivage pérenne”, ou “identifiant pérenne”.
La pérennisation c’est donc le processus qui rend pérenne un élément. Un élément pérenne est un élément dont la conservation à long terme, l’accessibilité et l’intelligibilité sont assurées, autant de mission dévolues aux services d’archives. Ainsi, archivage et pérennité ou pérennisation sont des concepts fortement liés.

Pourquoi pérenniser les données de la recherche ?

  • pour favoriser la reproductibilité de la recherche et de ses résultats.
  • pour s’inscrire dans une démarche de recherche respectant les principes FAIR et ceux de la science ouverte [voir ci-après].
  • pour favoriser la réutilisation des données et inscrire la recherche dans une démarche écosophique qui s’oppose à la consommation à “usage unique” des données mais promeut au contraire, leur “recyclage”.
  • pour rentabiliser la recherche qui peut être coûteuse en temps et en argent.
  • pour favoriser les collaborations car l’auteur des données est facilement identifiable.

La science ouverte et les principes FAIR

La science ouverte entend rendre plus aisé l’accès aux résultats et aux données de la recherche.
En France, on peut faire remonter les prémices de la science ouverte à la loi dite CADA de 1878 qui rend libre l’accès aux documents administratifs et la réutilisation des informations publiques.
Depuis le début des années 2000 et la Déclaration de Budapest, le mouvement pour la science ouverte prend de l’ampleur au sein des institutions notamment gouvernementales ainsi qu’au sein de la communauté internationale des enseignants-chercheurs.
En 2015, la loi dite Valter règle la gratuité d’accès et de réutilisation des données publiques ainsi que les modalités de réutilisation. Cette loi introduit le principe de “données de la recherche”.
En 2016, la loi pour une république numérique, dite loi Lemaire, établit “un principe d’ouverture des données publiques par défaut” ainsi qu’un “principe de libre utilisation des données scientifiques”.
(Source, Inist-CNRS, Les lois pour l’Open Data)
En 2018, est lancé en France le Plan national pour la science ouverte qui propose trois axes stratégiques pour favoriser le libre accès des résultats et des données de la recherche française. Ainsi, il prévoit l’accès ouvert obligatoire pour les publications et les données de recherches financées sur fonds publics. De même, les principes FAIR devront être appliqués aux données et les politiques en faveur de la science ouverte sont encouragées dans les institutions de recherche.
Il est suivi la même année par le Plan S qui entend qu’

“Après le 1er janvier 2021, les publications scientifiques sur les résultats de la recherche financée sur fonds publics accordés par des agences de recherche ou des organismes de financement nationaux ou européens, doivent être publiées dans des revues ou sur des plateformes en accès libre.”

(source : Plan S, septembre 2018).

Depuis 2021, un deuxième Plan National pour la Science Ouverte existe. Il

« étend son périmètre aux codes sources issus de la recherche, il structure les actions en faveur de l’ouverture ou du partage des données à travers la création de la plateforme Recherche Data Gouv, il multiplie les leviers de transformation afin de généraliser les pratiques de science ouverte et il en présente des déclinaisons disciplinaires et thématiques.»

(Source : Deuxième plan pour la science ouverte, site Ouvrir la science, juillet 2021)

Les principes FAIR s’inscrivent dans le mouvement de la science ouverte, ils visent à rendre les résultats et les données de la recherche :

  • trouvables (Find)
  • accessibles (Accesible)
  • Interopérables (Interoperable)
  • Réutilisables (Reusable)

Pour cela, les principes FAIR s’appuient sur les processus d’automatisation que fournissent les machines : métadonnées, identifiants pérennes, protocoles et standards, etc.

Sources & ressources

  • Consortium Couperin, Le site couperin de la science ouverte en France. Lien
  • Déclaration de Budapest, 14 février 2002. Lien
  • Deuxième plan pour la science ouverte, juillet 2021. lien, accès au document
  • Inist-CNRS, Les lois pour l’Open Data, DoRANum, mis à jour le 5 juillet 2018. Lien
  • Loi n° 78-753 du 17 juillet 1978 portant diverses mesures d’amélioration des relations entre l’administration et le public et diverses dispositions d’ordre administratif, social et fiscal – Version consolidée au 10 mai 2017. Lien
  • Loi n° 2015-1779 du 28 décembre 2015 relative à la gratuité et aux modalités de la réutilisation des informations du secteur public. Lien
  • Loi n° 2016-1321 du 7 octobre 2016 pour une République numérique. Lien
  • Plan national pour la science ouverte, juillet 2018. Lien
  • Plan S, septembre 2018. Lien
  • ROARMAP : Registry of Open Access Repository Mandates and Policies.
  • Urfist Méditerrannée, Les principes FAIR, 4 décembre 2019. Lien,
    DOI : 10.13143/Z7S6-ED26.
  • Groupe de travail Atelier Données, Guide de bonnes pratiques sur la gestion des données de la recherche, 8 décembre 2021. Lien

Identifiants pérennes

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

Définition générale

Il existe plusieurs types d’identifiants pérennes, certains sont très communs comme l’ISBN, qui est l’identifiant pérenne et unique pour les livres, ou encore l’ISSN pour les revues.
Concrètement, un identifiant est une suite de caractères alphanumériques sans signification attribué à une ressource.
Sur le web, les ressources sont localisées par leur URL. Mais cette URL n’est pas stable. Il arrive qu’elle change ou que la ressource soit déplacée. Dans ce cas, l’ancienne URL d’une ressource n’est plus valide et on voit apparaître sur sa page le code erreur 404.

Le rôle principal d’un identifiant pérenne est de favoriser l’accès à une ressource et sa préservation sur le long terme. Il garantit la pérennité du lien d’accès à la ressource c’est-à-dire de l’URL.

La pérennité des identifiants, quant à elle, est assurée par les organismes et les institutions qui les attribuent.

Les identifiants pérennes objet

Lors de sa publication, un article scientifique ou un jeu de données reçoit un PID ou identifiant pérenne objet.
Le PID objet permet d’identifier de manière univoque la ressource (article, jeu de donnée) et de donner accès à la ressource de manière stable et sur le long terme.
Un article publié dans une revue qui sera ensuite déposé dans une archive ouverte comme HAL gardera le même PID.
Si deux jeux de données portent le même titre, leur identifiant respectif permettra de les distinguer.
Les PID permettent aussi de lier un article scientifique publié dans une revue à un jeu de données déposé dans un entrepôt ou à une institution.
Il existe plusieurs familles d’identifiants pérennes :

  • les DOI (Digital Object Identifier)
  • les Handle
  • les ARK (Archival Resource Key)
  • les SWHID : identifiant pérenne attribué aux logiciels.

Les identifiants pérennes contributeur

Les identifiants pérennes peuvent aussi être attribués aux auteurs des articles et des jeux de données. Il s’agit alors d’identifiants contributeurs. Comme pour les objets, le PID contributeur permet d’identifier de manière stable et univoque les auteurs. Une institution peut également se doter d’un identifiant pérenne.

Plusieurs acteurs attribuent des identifiants aux auteurs :

  • Les éditeurs commerciaux attribuent des identifiants locaux destinés à leur base de donnée, comme Scopus Author ID de l’éditeur Elsevier.
  • Les réseaux sociaux comme ResearchGate ou Academia.edu attribuent également des identifiants locaux.
  • Les archives ouvertes comme HAL ou ArXiv fournissent un identifiant à l’ouverture du compte (idHAl ou ArXiv author ID).
  • Les institutions du monde des bibliothèques attribuent des identifiants. Ainsi, l’ABES (agence bibliographique de l’enseignement supérieur) attribue un IdRef qui sera utilisé dans le catalogue qu’elle gère, le SUDOC. L’ISNI (International Standard Name Identifier), identifiant international plus large, est attribué à tous les individus et toutes les institutions qui participent à la production intellectuelle mais aussi littéraire et artistique. Un norme ISO définit cet identifiant. Ces identifiants sont générés automatiquement sans démarche de la part de l’auteur.

Deux identifiants dédiés au monde de la recherche ont une portée neutre et internationale :

  • ROR (Research Oganization Registry) attribué aux organismes de recherche.
  • ORCID (Open Researcher ans Contributor ID) attribué uniquement aux membres de la communauté scientifique.

L’obtention de ces deux identifiants ainsi que ceux des archives ouvertes HAL et ArXiv n’est pas automatique, elle nécessite une inscription et une demande.

Relier les identifiants entre eux

Un auteur peut donc avoir plusieurs identifiants pérennes ce qui peut s’avérer peu évident à gérer.
Il existe des systèmes d’identification qui font les correlations entre les différents identifiants (celui de l’article, celui des données et celui de l’auteur) comme le service Auto-update élaboré par ORCID, CrossRef et DataCite.
Ainsi, quand un auteur ayant un identifiant ORCID publie un nouvel article qui reçoit un identifiant pérenne de type DOI, son profil ORCID est automatiquement mis à jour avec l’ajout de cette nouvelle publication.
Les identifiants les plus employés sont les DOI pour les objets et les ORCID pour les contributeurs.
Crossref est une infrastructure officielle d’enregistrement et de tenue de registres des DOI.
DataCite est un des organismes officiels qui fournit des DOI pour les données et les résultats de la recherche.

Vocabulaires contrôlés et identifiants

Les thésaurus qui respectent les principes FAIR attribuent des identifiants aux concepts. A un même identifiant peut être rattaché un ou plusieurs concepts.
Par exemple, l’identifiant qui désigne l’auteur Romain Gary renvoie également à son pseudonyme Emile Ajar. De cette façon, les oeuvres écrites par Romain Gary ou Emile Ajar sont toutes indexées au même identifiant auteur. Donc un utilisateur qui chercherait les oeuvres de Romain Gari (tout en ignorant qu’il a écrit sous pseudonyme) dans le catalogue de la bnf en utilisant l’identifiant auteur trouvera également les oeuvres qu’il a écrite sous ce pseudonyme.

En bref, pourquoi utiliser des identifiants pérennes ?

  • Pour favoriser l’agrégation des productions scientifiques et l’association à leurs auteurs.
  • Pour augmenter la visibilité du chercheurs et de ses productions et des institutions.
  • Pour favoriser la citabilité des productions et résultats de la recherche.
  • Pour favoriser la recherche et la découverte documentaire.

(Source, Inist-CNRS, Les identifiants pérennes : un aperçu)

Sources & ressources

  • Bermès (Emmanuelle), Les identifiants pour les ressources numériques, Groupe Pin, 20 septembre 2007.
    Lien
  • Crossref
  • Crossref, Wikipédia, mis à jour le 13 avril 2020.
    Lien
  • DataCite
  • DoRANum Callisto, La Minute identifiants pérennes, 16 mai 2017. Vidéo Canal-U
  • Inist-CNRS, Les identifiants pérennes : un aperçu, DoRANum, mis à jour le 16 décembre 2021. Lien

Les données de la recherche : définitions

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

OCDE : définition la plus courante

La définition de l’OCDE reprend en grande partie celle de l’Office of Management and Budget du gouvernement américain.
Selon l’ODCE

“les données de la recherche sont définies comme des enregistrements factuels (chiffres, textes, images et son), qui sont utilisés comme sources principales pour la recherche scientifique et sont généralement reconnus par la communauté scientifique comme nécessaires pour valider des résultats de recherche. Un ensemble de données de recherche constitue une représentation systématique et partielle du sujet faisant l’objet de la recherche.
Ce terme ne s’applique pas aux éléments suivants : carnets de laboratoire, analyses préliminaires et projets de documents scientifiques, programmes de travaux futurs, examens par les pairs, communications personnelles avec des collègues et objets matériels (par exemple, les échantillons de laboratoire, les souches bactériennes et les animaux de laboratoires tels que les souris). L’accès à tous ces produits ou résultats de la recherche est régi par d’autres considérations que celles abordées ici.”

Analyses et critiques de la définition de l’OCDE

La définition de l’OCDE, enrichit le concept de donnée comme matériel brut sur quatre points :

  • L’enregistrement est un préalable qui agit comme équivalent de la fixation matérielle d’une idée sur un support comme préalable de la reconnaissance et de la protection d’une oeuvre de l’esprit.
  • La nature factuelle, malgré la grande diversité des données, peut être supposée.
  • Le lien avec la communauté scientifique : une donnée est ce qui est acceptée par un groupe de chercheur comme telle.
  • La finalité : les données ont une fonction dans le processus scientifique, notamment pour la validation des hypothèses et des résultats.

(Source : J. Schöpfel, E. Kergosien, H. Prost, 2017)

L’ensemble des documents ou enregistrements produits par les chercheurs ne sont pas des données de la recherche puisque les données de types gestionnaires et managériales sont écartées de la définition de l’OCDE. L’approche archivistique n’est pas retenue dans cette définition.
Les données peuvent être produites en dehors du processus de recherche.
La définition de l’OCDE ne clôt pas la question de la nature et du périmètre des données, très dépendants du cadre disciplinaire.
Deux tendances caractérisent les données de la recherche : elles sont de plus en plus numériques/numérisées et de plus en plus massives.

(Source : Thierry Fournier, 2014)

Définition de la donnée par rapport au fait

“Quand on prouve qu’un fait est faux, il cesse d’être un fait. Une donnée fausse, en revanche, n’en demeure pas moins une donnée.”

(Source : Daniel Rosenberg, 2013, cité et traduit par. V. Rebouillat, 2019)

Pour Simon Chignard,

une donnée est “un fait brut, qui n’est pas – encore – interprété.”

(Source : Simon Chignard, 2012)

Définitions de la donnée par rapport à l’information et à la connaissance

La définition d’un informaticien :

“Une donnée est une description élémentaire, typiquement numérique pour nous, d’une réalité. C’est par exemple une observation ou une mesure.
À partir de données collectées, de l’information est obtenue en organisant ces donnée, en les structurant pour en dégager du sens.
En comprenant le sens de l’information, nous aboutissons à des connaissances, c’est-à-dire à des “faits” considérés comme vrais dans l’univers du locuteur, et à des “lois” (des règles logiques) de cet univers”.
Exemple développé :

“Des mesures de température relevés chaque jour dans une station météo, ce sont des données. Une courbe donnant l’évolution dans le temps de la température moyenne dans un lieu, c’est une information. Le fait que la température sur la terre augmente en fonction de l’activité humaine, c’est une connaissance.”

(Source : Serge Abiteboul, 2012)

La définition d’un philosophe :

“J’ai sur mon bureau un livre consacré aux habitudes de voyage des gens de Stockholm, que je n’ai pas encore lu – autrement dit, j’ai accès à de l’information sur la question, mais non à du savoir ; si je lis cet ouvrage, cette information aboutira probablement à du savoir, mais cette transformation de l’information en savoir ne se produira que si je comprends ladite information de manière à l’assimiler en l’intégrant à mon système de croyances : si j’en apprends le texte par coeur, sans le comprendre, je possède de l’information, mais pas de savoir sur la question.
Les données diffèrent de l’information en ce qu’elles n’ont pas à se présenter sous une forme qui se prête à l’assimilation. Si au lieu de l’ouvrage en question, j’avais sur mon bureau les dix mille questionnaires sur lesquels il repose, j’aurais des données au lieu d’information. En résumé, il faut que les données soient assimilables pour pouvoir constituer de l’information et qu’elles soient assimilées pour pouvoir constituer du savoir.”

(Source : Sven Ove Hansson, 2002)

La définition d’un spécialiste des sciences de l’information :

L’information peut être un processus, l’action d’informer, de communiquer.
L’information en tant que connaissance correspond au contenu de ce qui est communiqué. Elle est intangible et nécessite une représentation physique pour être communiquée.
Cette représentation c’est la donnée. La donnée c’est aussi l’information “as thing”, en tant que chose.
La donnée est informative. Mais, elle est informative selon la question que se pose celui qui l’observe et son degré d’expertise. Donc la donnée est une preuve situationnelle ou circonstantielle.

(Source : Michael K. Buckland, 1991 dans V. Rebouillat, 2019)

Définition de la donnée en fonction du processus de recherche

Il n’existe pas de donnée en soi.
C’est le chercheur qui détermine ce qu’est une donnée à partir du moment où il envisage une entité comme pouvant être utilisée en tant que preuve dans un développement scientifique.

“La représentation d’une observation, d’un objet ou de tout autre entité devient une donnée de recherche dès lors qu’elle est utilisée comme preuve d’un phénomène, à des fins scientifiques”.

(Source : Christine L. Borgman (2015) dans V. Rebouillat (2019))

Les données sont portables, elles sont communicables. Cette portabilité est nécessaire à leur caractérisation comme preuve.

(Source : Sabina Leonellli, 2015, dans V. Rebouillat, 2019)

Sources & ressources

  • Abiteboul (Serge), Sciences des données : de la logique du premier ordre à la Toile : leçon inaugurale prononcée le jeudi 8 mars 2012, Paris, Collègue de France, 2012.
    Lien
  • André (Francis), “Déluge des données de la recherche ? Petit manuel d’immersion. Curation, infrastructures et partage”, dans Calderan (Lisette), Laurent (Pascale), Lowinger (Hélène) et al. (sous la dir.), Big Data. Nouvelles partitions de l’information. Actes du séminaire IST Inria, octobre 2014, Louvain-la-Neuve, De Boeck Supérieur, “Information et stratégie”, 2014, pp. 77-95.
    Lien
  • Borgman (Christine L.), Big Data, Little Data, no Data: Scholarship in the networked World, Cambridge MA, The MIT Press, 2015, p. 28.
  • Buckland (Michael K.), “Information as thing”, dans Journal of the American Society for Information Science, 42 (5), 1991, pp. 351-360.
    [Lien : https://doi.org/10.1002/(SICI)1097-4571(199106)42:5<351::AID-ASI5>3.0.CO;2-3)]
  • Chignard (Simon), Open Data : comprendre l’ouverture des données publiques, Limoges, FYP éditions, 2012.
  • Fournier (Thierry), “Les données de la recherche : définition et enjeux”, dans Arabesques, 73, 2014.
    Lien
  • Hansson (Sven Ove), “Les incertitudes de la société du savoir”, dans Revue internationale des sciences sociales, 171 (1), 2002, pp. 43-51.
    Lien
  • Leonelli (Sabina), “What counts as Scientific Data? A Relational Framework”, dans Philosophy of Science, 82 (5), 2015, pp. 810-821.
  • OCDE, Principes et lignes directrices pour l’accès aux données de la recherche financées sur fonds publics, Paris, éd. de l’OCDE, 2007, p. 18.
    Lien
  • Rebouillat (Violaine), Ouverture des données de la recherche : de la vision politique aux pratiques des chercheurs. Sciences de l’information et de la communication, Conservatoire national des Arts et Métiers – CNAM, 2019.
    Lien
  • Rosenberg (Daniel), “Data before the Fact”, dans Gitelman (Lisa), Raw Data is an Oxymoron, Cambridge, MIT Press, 2013, pp. 15-40.
    Lien
  • Schöpfel (Joachim), Kergosien (Eric), Prost (Hélène), “Pour commencer, pourriez-vous définir ‘données de la recherche’ ?” Une tentative de réponse. Atelier VADOR : Valorisation et Analyse des Données de la Recherche, INFORSID 2017, Toulouse, mai 2017. Lien