Archives de catégorie : Acquisition

Les formats de fichier

GÉNÉRALITÉS

Définitions

Un fichier informatique est un ensemble de données constitué d’une séquence de bits, soit une séquence de 0 et de 1. La convention pour stocker les données dans un fichier détermine le format de celui-ci.

(Source : Bibliothèque et archives nationales du Québec)

Le format désigne la nature d’un fichier informatique et permet d’identifier le type de
logiciels nécessaire à sa lecture. Chaque fichier porte une extension généralement en
trois lettres qui indique le type de format. Exemple : titre_fichier.pdf. Plus
précisément, un format est un ensemble de règles formelles qui définissent comment
structurer, donner forme à quelque chose.

(Source : Xyoos)

Format et langage

Attention à la confusion entre format et langage informatique. Si le format est un ensemble de règles formelles, le langage est un format mis en œuvre par l’écriture. Les règles formelles sont traduites en règles d’écriture.
Exemple : On peut mettre un texte au format html et l’écrire en langage html. Mais tous les formats ne sont pas associés à un langage. Le format TEXT (.txt) existe ; toutefois, il n’y a pas de langage TEXT.

(Source : Arthur Perret, Cours sur le format texte)

Format et logiciel

Un logiciel est un ensemble de programmes informatiques couplés à une interface qui permet d’interagir facilement avec le logiciel. On attribue aux logiciels une licence d’utilisation qui peut être plus ou moins ouverte.
Un programme informatique est une suite d’instructions que la machine exécute. Il a deux caractéristiques :

  • des étapes : à chaque instruction il est possible de connaître l’instruction suivante.
  • une fin : la dernière instruction demande l’arrêt du programme.

Logiciel et format sont très liés. Le but du format est de structurer des informations avec des spécifications techniques pour que des machines, des programmes ou des logiciels puissent dialoguer.
De plus, certains logiciels sont créés pour lire un type de format. C’est le cas de Microsoft Word qui est programmé pour produire et ne lire que des fichiers au format .doc.
D’autres logiciels, plus ouverts, peuvent produire et/ou lire plusieurs types de format (par exemple, le logiciel VLC pour les formats audio et vidéo).

Typologie des formats

  • Format ouvert : Sa description est publique. Aucune disposition légale ne s’oppose à sa libre utilisation. Il est interopérable : possibilité d’utiliser plusieurs logiciels pour le créer, le lire, le modifier.Il peut être normalisé par un organisme de normalisation comme ISO, AFNOR, W3C.
  • Format fermé : Sa description est secrète ou des dispositions légales peuvent en restreindre l’utilisation. Il est souvent associé à un seul logiciel.
  • Format propriétaire : Ses spécifications techniques appartiennent à l’entreprise qui l’a créé. Il peut être ouvert ou fermé.
  • Format standard : Format dont la grande popularité le rend standard. Mais il n’est pas normalisé.
  • Format conteneur : Il contient et fait fonctionner ensemble plusieurs types de données. Exemple : données audio + données vidéo + données sous-titre dans un conteneur vidéo comme MP4 ou MOV.

Le format idéal

Il est :

  • Ouvert
  • Normalisé (si possible)
  • Facile à transformer (migration)
  • Indépendant (vis-à-vis d’autres formats, d’un matériel particulier, d’une entreprise)
  • Compatible (avec de nombreux logiciels et systèmes d’exploitation)
  • Largement diffusé

Le poids du fichier

Le bit est l’unité de mesure minimale en informatique. Il ne peut exprimer que deux valeurs (0 ou 1).
Il est notamment utilisé pour exprimer la vitesse de connexion à l’internet (bps).

L’octet (1 octet = 8 bits). C’est l’unité mesurant la taille ou le poids d’un fichier informatique. Sa mission : stocker un caractère (chiffre, lettre, symbole,…).
Unité de petite taille, plus souvent exprimée en Ko, Mo, Go.

Conversion des unités de mesures :

  • Kilooctet (Ko) = 1000 octets
  • Mégaoctet (Mo) = 1000 Ko
  • Gigaoctet (Go) = 1000 Mo
  • Teraoctet (To) = 1000 Go
  • Petaoctet (Po) = 1000 To
  • Exaoctet (Eo) = 1000 Po
  • Zettaoctet (Zo) = 1000 Eo
  • Yottaoctet (Yo) = 1000 Zo

Capacité de stockage moyenne des appareils :

  • ordinateur : de 500 Go à 4 To
  • clé USB : de 8 à 200 Go
  • disquette : 1,4 Mo

Poids moyen des types de fichier

  • fichier texte : 50 Ko
  • fichier audio : 4 Mo
  • fichier image : 6 Mo
  • fichier vidéo : 700 Mo

Quelques questions à se poser en matière de format

  • Quelles données vais-je utiliser pendant ma recherche ?
  • Quels formats de fichiers puis-je utiliser ?
  • Quels logiciels vais-je employer pour traiter/analyser mes données ?
  • Quels formats d’entrée ces logiciels acceptent-ils ?
  • Comment vais-je stocker mes données pendant la recherche ?
  • Sur quel appareil (disque dur, serveur de l’université, cloud, etc…) ?
  • Quelle est la capacité de stockage de cet appareil ?
  • Que vais-je faire de mes données à la fin de ma recherche ?
  • Comment vais-je les archiver ?
  • Sur quel support/entrepôt : personnel, institutionnel ?
  • Quels formats de fichier sont acceptés sur ces supports, ces entrepôts ?

Sources & ressources

FORMATS AUDIO, VIDÉO & IMAGES

Formats audio

Le critère de qualité audio est le débit à la seconde ou kbit/s.
Il se calcule en fonction de la résolution : 16 bits, 24 bits, 32 bits, etc. et de la fréquence d’échantillonnage : 44,1 kHz
Plus ces chiffres sont élévés, plus la qualité est bonne mais pas forcément perceptible par l’oreille humaine.
Comparaison avec la qualité CD : 16 bits, 44,1kHz.
Attention : l’enregistrement d’origine détermine la qualité de l’audio.

Codec : permet d’encoder (compression) et de décoder (décompression) des flux audio => Contenu. Exemples de codecs : Vorbis, FLAC, ALAC, AC3, OPUS, AAC, WMA, ATRAC.
Format conteneur : permet de stocker des flux audio (ou vidéo) => Boîte. Exemple de formats conteneurs : WAV/WAVE, AIFF, OGG, ASF, CAF, AU.

La combinaison d’un codec et d’un format conteneur donne un format audio.
Parfois codec et conteneur portent le même nom (FLAC).

  • Format sans compression :
  • PCM (= CD)
  • Formats de compression sans perte (lossless) – même qualité sonore que le CD :
  • FLAC (ouvert)
  • ALAC (Apple)
  • Shorten
  • WMA Lossless
  • ATRAC Advanced & lossless
  • Formats de compression avec perte (lossy), irréversibles :
  • MP3
  • AAC (Apple)
  • WMA
  • OGG VOBIS (ouvert)
  • OPUS
  • AA
  • ATRAC
  • AC-3

Ex : le format conteneur WAV peut contenir des flux MP3, etc. Le plus souvent, il contient de l’audio sans réduction de données (PCM).
Convertir un format MP3 en format WAV n’améliore pas la qualité sonore.

Formats vidéo

  • Codecs : permet d’encoder (compression) et de décoder (décompression) des flux audio et vidéo => contenu. Exemples de codecs : M-JPEG, AVCHD, DNXHD, H.264/H.265, OGG Theora, ProRes.
  • Formats Conteneur : permet de stocker des flux audio, vidéo, des sous-titres, des métadonnées => boîte. L’extension du fichier indique le conteneur (ex : .mov). Exemples de formats conteneurs : MP4, AVI, MOV, MXF, 3DP, 3G2, MTS/M2TS/TS Matroska.

La combinaison d’un codec et d’un format conteneur donne un format vidéo.
ex. : MP4 H.264 ou Mov ProRes.

Il existe deux types de formats de compression vidéo :

  • Formats de compression IntRA-trame
  • Compressent les images individuellement.
  • Souvent de meilleure qualité
  • Formats orientés production
  • => Codecs utilisés : M-JPEG, ProRes, DNxHD/DNxHR
  • Formats de compression intER-trame
  • Stockent certaines images entièrement et en compressent d’autres.
  • Donnent des fichiers plus petits
  • Formats orientés diffusion
  • => Codecs utilisés : H.262, H.264, H.265, OGG Theroa, MPEG-2

Formats images

Définition : une image numérique c’est une image acquise, créée, traitée ou stockée sous forme binaire.

  • acquise par des machines telles que : scanner, appareil photo, caméscope numérique
  • créée par des programmes informatiques
  • traitée par des outils informatiques (modifications de taille, couleur, ajout ou suppression d’éléments, de filtre).
  • stockée sur un support informatique (disque dur, clé USB, serveur, etc.)
  • L’image peut être numérisée ou nativement numérique.
  • Il y a deux types d’images numériques : les images matricielles et les images vectorielles.

Image matricielle.
Elle est composée d’une grille dont chaque case ou pixel a une couleur propre. Plus il y de pixels, plus la qualité est bonne.

  • Les + : haute définition des couleurs et de la luminosité, chaque pixel peut être retouché.
  • Les – : perte de qualité en cas d’écrasement ou d’étirement de l’image, la compression peut causer une perte de qualité, taille de fichier plus élevée, vectorisation difficile.
  • Les formats : TIFF, JPG, JPEG, PNG, BMP, MNG, TGA, OpenEXR, FITS

Image vectorielle. C’est une image numérique composée de formes géométriques individuelles, chacune définie par des attributs de couleur, taille, position.

  • Les + : possibilité d’écraser ou d’étirer l’image sans perte de qualité, compression sans perte, taille de fichier plus faible, possibilité de retouche sur-mesure, facile à convertir en image matricielle (rastérisation).
  • Les – : pas adaptée aux images complexes ou en haute définition, l’enregistrement nécessite une rastérisation.
  • Les formats : SVG, VML, SWF, AI, EPS, DXF, CDR, WMF, Silverlight.

Arrêt sur l’IIIF – International Image Interoperability Framework.

Il s’agit d’une communauté et d’un ensemble de spécifications techniques visant à créer un cadre technique d’interopérabilité pour la diffusion d’images haute résolution sur le Web.
Depuis plusieurs années, les bibliothèques numériques se multiplient. Elles mettent à disposition sur le Web une masse de plus en plus importante de reproductions (manuscrits, imprimés, cartes, documents d’archives, photographies, etc.). Toutefois, la création de ces entrepôts d’images s’est effectuée sans véritable coordination technique. Il en résulte que :

  • chaque entrepôts fonctionne en silo, il n’y a pas d’interopérabilité.
  • chaque institution a développé son propre visualiseur ce qui est coûteux à concevoir et à maintenir et rend chaque application unique.
  • l’utilisateur doit donc s’adapter à chaque application, à son environnement et son interface de consultation propre.

Face à ce constat, le IIIF entend favoriser l’interopérabilité des bibliothèques numériques, et ainsi enrichir et faciliter l’expérience utilisateur en terme de visualisation et de manipulation des images.
Exemples d’usages permis par le cadre technique d’IIIF :

  • Annoter une carte numérisée disponible sur un site web, mais à l’aide d’un outil d’annotation développé sur un autre site web.
  • Créer une collection d’images issues de plusieurs sources
  • Inspecter et comparer les mains de manuscrits issus de différents entrepôts numériques.

l’IIIF développe des API partagées. Elle les implémente dans des logiciels. Elle expose des contenus interopérables sur le web.
Il existe 4 API IIIF stables :

  • API Image. Elle spécifie une syntaxe qui s’applique à deux requête pour une même image : la requête de l’image elle-même (fichier image) ; la requête d’informations techniques sur l’image (fichier JSON)
  • API Presentation. Elle spécifie les informations nécessaires à la présentation d’un objet numérique dans une interface de visualisation. Son but est d’améliorer l’expérience utilisateur. Elle joint la structure et les métadonnées à un objet et définit comment elles apparaissent dans un visualiseur
  • API “content search”. Elle spécifie la manière dont se fait la recherche au sein du contenu textuel associé à un document numérique représenté selon les principe de l’API Presentation (dans la transcription ou l’OCR du texte par exemple).
  • API Authentification. Elle définit à quel endroit ou par qui les images peuvent être vues. Elle définit des scenarii d’interaction entre un client et des systèmes d’authentification.

LES FORMATS TEXTES

Le format texte ou texte brut ou plaintext

Un fichier au format texte (.txt) ne contient que des caractères textuels (par opposition aux pixels et aux sons).
C’est un méta-format utilisable pour créer des fichiers dans toutes sortes de formats plus spécifiques comme les formats html, markdown, xml, ou TeX.
Un fichier au format texte ne contient pas de mise en forme, ni de mise en page. On ne peut choisir ni la police de caractère, ni la taille, ni la couleur. On ne peut pas gérer les interlignes, les sauts de pages, les marges, etc.
Ce format peut servir à écrire du texte scientifique mais aussi des programmes informatiques.
Il fonctionne avec un type de logiciel, l’éditeur de texte (Notepad ++ ou TextEdit).
Un caractère peut être une lettre, un chiffre, un signe de ponctuation, un symbole, etc.

Arrêt sur l’encodage

Les caractères sont traduits/encodés en octets. L’éditeur de texte décode ces octets pour afficher les caractères correspondants. Cette encodage peut prendre plusieurs formes.
Le codage ASCII : le premier et le plus basique, établi à partir de l’anglais, il ne comprend que 128 caractères.
Il ne permet pas de coder les caractères accentués ni les autres alphabets et systèmes d’écritures.
Pour cela, on utilise le codage UTF-8 qui code tous les caractères Unicode (des milliers) et qui inclut le codage ASCII.
En ouvrant une page web, si on tombe sur ce genre de chose “caractères “, ça signifie qu’il y a un problème de codage. La page est encodée avec un type de codage et notre navigateur essaie de la décoder en suivant un autre type de codage.
Quand on utilise un éditeur de texte, privilégier l’UTF-8.
Bon à savoir : Comme l’ASCII est le plus largement partagé, quand on nomme un fichier, il faut éviter les espaces, les caractères spéciaux et accentués.

Le format texte enrichi

A l’inverse du texte brut, le format texte enrichi contient la mise en page et la mise en forme. Ce type de format s’obtient en utilisant un logiciel de traitement de texte, du type Word ou OpenOffice Writer (.doc, .odt, .docx). Ces types de formats ont été conçus pour une utilisation bureautique. Ils sont moins adaptés à l’écriture scientifique et de plus en plus critiqués par les chercheurs.

Les principales critiques :

  • conviennent peu à l’écriture scientifique
  • inadaptés à la communication sur le web
  • certains formats sont propriétaires (.doc.)
  • Ils sont plus lourds que le format TEXT (.txt)
  • Risque pour l’usager de confondre rendu graphique et structure du texte => la structure à un sens ; le niveau des titres témoigne du processus de raisonnement.

WYSIWYG : What you see is what you get. Logiciels dont l’interface donne à voir à l’écran le document tel qu’il sera publié. Les traitements de texte sont des WYSIWYG.

Arrêt sur le format PDF

Le PDF “Portable Document Format” est un format de diffusion. Il permet la lecture d’un fichier texte en préservant sa mise en page et sa mise en forme quel que soit le logiciel ou le système d’exploitation. Format normalisé, il est très utilisé pour la transmission et l’archivage des documents.
Le PDF peut être créé à partir d’un éditeur de texte ou d’un traitement de texte. Dans ce cas, il est nativement numérique. Il peut également être créé à partir de l’image numérisée d’un texte. Dans ce cas, il y a deux sortes de PDF :

  • Le PDF qui correspond à la simple image numérisée. Dans ce cas, il est impossible de sélectionner une partie du texte numérisé.
  • Le PDF dont l’image numérisée a reçu un traitement de reconnaissance de caractères (OCR). Autrement dit, on ajoute une couche de texte à l’image numérisée. Dans ce cas, il est possible de sélectionner un extrait du texte.

Plaidoyer en faveur du texte brut

  • Léger en termes de stockage
  • Format libre, utilisable avec des logiciels libres
  • Garantit une certaine pérennité
  • Interopérable
  • Adapté à la gestion des versions
  • Permet de se concentrer sur la structure du texte

SOURCES ET RESSOURCES

Généralités :

Les ressources institutionnelles françaises :

  • CINES : Centre informatique national de l’enseignement supérieur
    Plateforme d’archivage de l’enseignement supérieur. Il fournit un tableau des formats acceptés et un outil de vérification de l’éligibilité des fichiers à l’archivage.
    Le site,
    la page de l’outil FACILE.
  • Le rapport technique produit par la BnF sur les formats à privilégier dans une optique d’archivage et de pérennité :
    Caron (Bertrand), Formats de données pour la préservation à long terme : la politique de la BnF, Rapport technique, Paris, BnF, 2021.
    Site,
    document.
  • Rapport définissant 9 critères d’évaluation des formats dans une optique de préservation à long terme. Il présente aussi les politiques de plusieurs institutions en matière de formats (BnF, British Library, Library of Congress, etc.) :
    Caron (Bertrand), Humbert (Marion), Jolly (Anne-Flora), et al., Définir une politique de formats : les neuf critères essentiels, Rapport de recherche, Association Aristote, 2020.
    Lien
  • Référentiel général d’interopérabilité produit par le site numérique.gouv.fr donne des informations sur les formats permettant l’interopérabilité. Il a été officialisé par arrêté en avril 2016.
    Page dédiée,
    document.
  • Tableau produit par Doranum (réseau Urfist + Inist-CNRS) distinguant les formats ouverts et les formats fermés de tous les types de fichiers : audio, vidéo, image, texte, tableau, présentation, archivage, etc.
    Lien

Les ressources institutionnelles étrangères :

  • BanQ (Bibliothèque et archives nationales du Québec) a publié un guide de recommandation des formats à utiliser qui date de 2020.
    Lien
  • CECO : le Centre suisse de coordination pour l’archivage à long terme des documents électroniques décrit les différents types de formats et fournit des recommandations sur les formats à adopter.
    Lien
  • La présentation très complète et détaillée des différents formats de fichiers de la bibliothèque du Congrès.
    Lien
  • Et son guide des formats recommandés.
    Lien
  • OASIS, Organization for the Advancement of Structured Information Standards : institution centrée sur la normalisation des formats de fichiers.
    Lien
  • PRONOM : Ressource en ligne produite par les archives nationales du Royaume-Uni. Elle fournit un registre d’informations techniques sur les formats de fichier, les logiciels qui les lisent et les produisent. Possibilité de faire une recherche par format ou par logiciel.
    Lien

Sitographie

  • Arthur Perret, Cours sur le format texte. Lien
  • File-extensions : catalogue de toutes les extensions de fichiers existantes et leur description. Les extensions sont classées en plusieurs catégories. Pour chaque extentions, les logiciels permettant leur lecture, création, modification, etc. sont indiqués.
    Lien
  • Pin Format : groupe national de travail et de réflexion sur les formats de fichier affilié à l’association Aristote. Il réunit des institutions telles que le CINES, la BnF, l’INA et des ministères (Culture, Armée, Europe et Affaires étrangères).
    Lien
  • Le manuel de préservation numérique du groupe Pin Format qui définit les questions à se poser en matière de choix de format.
    Lien
  • Un wiki consacré aux formats de fichier.
    Lien
  • Xyoos

Format audio, vidéo et image :

  • Caron (Bertand), Formats de données pour la préservation à long terme : la politique de la BnF. [rapport technique],
    BnF, 2021, p. 29.
    Lien
  • Tardieu (Julien), Prise de son en SHS, Tutoriel MATE-SHS, 20 décembre 2018.
    Lien
  • Pour comprendre rapidement la différence entre signal analogique et signal numérique : Espace des Sciences, Interview de Michel Cabaret, France Bleu Armorique.
    Lien
  • Pour une initiation aux formats d’images, voir le site du Lycée Blaise Pascal de Clermont-Ferrand.
    Lien
  • Pour plus d’informations, consulter les ressources du module “formats de fichier – généralités”.
  • Pour plus d’information sur le IIIF voir la page documentation de Biblissima.
    Lien

Format texte:

  • Arthur Perret, Cours sur le format texte.
    Lien
  • Ensemble de cours sur l’écriture et la publication numérique en SHS de la Chaire de
    recherche du Canada sur les écritures numériques.
    Lien
  • Pour une approche plus détaillée de l’encodage, voir la présentation de Christian Queinnec.
    Lien
  • Pour une approche critique du format PDF, voir le billet d’Arthur Perret.
    Lien
  • BU de l’Université de Montréal, Vidéo de présentation des formats.
    Lien

Les lieux de collecte des données

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

POURQUOI COLLECTER DES DONNÉES ? QUESTIONNEMENT INTRODUCTIF

De manière générale et comme le disent les définitions du concept de données de la recherche, celles-ci sont nécessaires pour répondre à la problématique de recherche et pour valider le discours scientifique.
Ce discours peut prendre plusieurs formes :

  • un mémoire de recherche
  • une thèse
  • un article scientifique
  • une conférence, un colloque
  • un cours

Ces formes de discours ne s’excluent pas les unes les autres et un même lot de données peut être utilisé pour rédiger une thèse à partir de laquelle sera monté un cours ou encore préparé une intervention à un colloque.
Dans le cadre d’un projet de recherche, on peut collecter des données pour :

  • établir un état de l’art. Dans ce cas, on pense en premier lieu à une collecte de données bibliographiques
  • constituer un corpus de données à partir duquel effectuer l’analyse du sujet de recherche.

Dans ce cadre, les données du corpus peuvent être de plusieurs natures :

  • écrites
    • manuscrites
    • imprimées
    • numérisées
    • numériques
  • iconographiques
    • manuscrites
    • imprimées
    • analogiques
    • numérisées
    • numériques
  • orales et vidéo
    • produites par le chercheurs : enregistrements analogiques ou numériques
    • collectées autrement dit, déjà constituées par d’autres chercheurs,
      institutions, infrastructures : enregistrements analogiques ou numériques.

LIEUX DE COLLECTE

QUESTIONNEMENT INTRODUCTIF

Les lieux de collecte de données dépendent du type de données que le chercheur souhaite obtenir.

On peut distinguer les données non numériques des données numériques.

Où trouver des données non numériques

Au sein des données non numériques, il existe entre autres :

  • les livres, périodiques papiers collectés dans des bibliothèques et les centres de documentation des laboratoires de recherche,
  • les archives papiers collectées dans les centres d’archives,
  • les objets archéologiques collectés sur les chantiers de fouilles,
  • les entretiens, enquêtes, sondages, observations collectés sur des terrains, eux-mêmes définis selon la discipline et le sujet de recherche (panel de population, zone géographique, etc.)

Même si ces données sont non numériques, elles peuvent être trouvées et collectées, grâce à des outils numériques (quand ils existent) comme les catalogues de bibliothèque ou les inventaires d’archives.
Ces données sont créées par le chercheur ou organisées pour la recherche et la collecte.
Ces données peuvent être numérisées. On passe alors à une phase de traitement de données.

Où trouver des données numériques ?

Elles peuvent être collectées sur le web.
Dans ce cas, on distingue les lieux/sites non dédiés à la recherche d’informations et les lieux/sites dédiés à la recherche d’informations.

[voir ci-après méthodes de collecte> web scraping]

Les lieux non dédiés à la recherche

Ce sont des lieux qui ne sont pas conçus pour la recherche a priori. Ainsi, les données qu’ils fournissent ne sont pas toujours faciles à collecter, notamment parce qu’elles ne sont pas forcément structurées ni indexées.
Exemple de lieux non dédiés à la recherche : les sites du web 2.0 (ou web participatif) comme les forums ou les réseaux sociaux.

Les lieux dédiés à la recherche d’informations

Ils sont conçus pour faciliter la recherche et la collecte des données. Ils fournissent des métadonnées et des éléments d’indexation.
Exemple de lieux dédiés à la recherche :

  • les bases de données spécialisées,
  • les entrepôts de données,
  • les annuaires d’entrepôts,
  • les catalogues de données,
  • les bibliothèques numériques,
  • les archives numériques.

BASE DE DONNÉES

Définition

Il s’agit d’un conteneur stockant une collection d’informations ou de données structurées, semi-structurées ou brutes.
Une base de données sert à stocker, organiser, localiser, analyser et mettre à jour facilement et rapidement des données.
Les bases de données peuvent être classées en deux typologies :

  • Une typologie des bases de données selon le contenu : bibliographique, texte, image, nombre, audio, vidéo.
  • Une typologie selon l’approche organisationnelle de la base de données : hiérarchique, réseau, relationnelle ou SQL, NoSQL, distribuée, cloud, orientée texte, orientée objet, orientée graph.

LOADB : Listing of Open Database

LOADB recense les bases de données en libre accès et offre un portail d’accès unique à ces bases de données. Il est pour le moment orienté sciences technologiques et médicales mais entend inclure à terme tous les champs disciplinaires. On y trouve déjà des bases de données spécialisées en géographie et en archéologie.
[pour plus d’info, voir fichier “Traitements et analyses”].

Sources & ressources

  • Bastien L., “Base de données : qu’est-ce que c’est ? Définition et présentation”, dans Le Big Data, 24 janvier 2019.
    Lien
  • Site Oracle, Qu’est-ce qu’une base de données ?.
    Lien
  • Wikipédia, Base de données, mis à jour le 12 mai 2022.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Modèles et langages, mars 2022. Licence CC BY-NC-SA.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Aspects systèmes, Septembre 2020. Licence CC BY-NC-SA.
    Lien
  • L’informatique c’est fantastique, Cours sur les bases de données, Lycée Blaise Pascal, Clermont-Ferrand, mis à jour le 30 octobre 2020.
    Lien
    LOADB
  • Marcoux (Yves), Scénario type de création d’une base de données documentaire, Université de Montréal, EBSI, 2000.
    Lien
  • Site de l’ENSSIB, base de données/banque de données, 17 mars 2017.
    Lien

BANQUE DE DONNÉES

La différence entre base de données et banque de données fait débat. L’ENSSIB propose la distinction suivante :

“la base de données décrit la structure informatique, le contenant, tandis que la banque de données représente le contenu de la base, c’est à dire un ensemble de données relatif à un domaine de connaissance.”

Toutefois, elle cite également les deux définitions extraites du Vocabulaire de la doc (proposé par l’association des professionnels de l’information et de la documentation) :

Banque de données : “Ensemble de données relatif à un domaine défini des connaissances, généralement organisé et structuré en base de données pour être offert aux utilisateurs (JO). On distingue les banques de données bibliographiques (références de documents primaires, avec ou sans résumé), les banques de données iconographiques (images fixes ou animées ; à ne pas confondre avec le mode image), les banques de données textuelles (texte intégral complet ou partiel de documents primaires) ou de type GED (document complet au format original), les banques de données numériques (données chiffrées, plus ou moins structurées) et multimédias (1) (documents comprenant des textes, des images et des sons).”
Base de données :
“Ensemble de données structuré, généralement en champs, organisé en vue de son utilisation par des programmes correspondant à des applications distinctes (JO) (gestion, recherche, tri, cartographie, etc.). Ce regroupement structuré de données, géré par un système de gestion de base de données (SGBD), se réalise de manière à faciliter l’évolution indépendante des données et des programmes.”

(Source : Site de l’Enssib)

Sources & ressources

  • Bastien L., “Base de données : qu’est-ce que c’est ? Définition et présentation”, dans Le Big Data, 24 janvier 2019.
    Lien
  • Site Oracle, Qu’est-ce qu’une base de données ?.
    Lien
  • Wikipédia, Base de données, mis à jour le 12 mai 2022.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Modèles et langages, mars 2022. Licence CC BY-NC-SA.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Aspects systèmes, Septembre 2020. Licence CC BY-NC-SA.
    Lien
  • L’informatique c’est fantastique, Cours sur les bases de données, Lycée Blaise Pascal, Clermont-Ferrand, mis à jour le 30 octobre 2020.
    Lien
  • Marcoux (Yves), Scénario type de création d’une base de données documentaire, Université de Montréal, EBSI, 2000.
    Lien
  • Site de l’ENSSIB, base de données/banque de données, 17 mars 2017.
    Lien

ENTREPÔT DE DONNÉES

Base de données en ligne permettant le dépôt, la recherche, la collecte, la description, la conservation et la diffusion des jeux de données. Une fois déposés, les jeux se voient attribuer un DOI et, très souvent, une licence de réutilisation. Les jeux de données sont accessibles sur l’entrepôt, et peuvent être réutilisés, éventuellement après une période d’embargo.
Les entrepôts sont de plusieurs types :

  • généralistes et multidisciplinaires : Archive.org, Nakala, MediHAL, Zenodo.
  • disciplinaires : bibliothèques virtuelles humanistes, Ortolang, CNRTL, CocoOn, ArkeoGIS, Geoportail (IGN), Archipolis pour les sciences politiques.
  • liés à une institution : Data.gouv, DataBNF, Hal.

[Pour plus de détails sur les fonctionnalités des entrepôts de données, voir le fichier “Pérennisation”]

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

ANNUAIRE D’ENTREPÔTS

Ils peuvent être multidisciplinaires :

  • Re3data.org : possibilité de chercher des entrepôts par disciplines, par types de données, par pays.
  • OAD : Open Access Directory. Liste des entrepôts et des bases de données d’open data.
  • CatOpidor

Ils peuvent être disciplinaires :

  • Biosharing (STM)

Ils peuvent être mixtes c’est-à-dire constituer à la fois une archive ouverte et un entrepôt :

  • ROAR : annuaire qui répertorie les entrepôts en libre accès ou les archives ouvertes. Recherche possible par nom, région du monde, pays, logiciel, type de contenu, disciplines.
  • OpenDOAR : annuaire recensant à l’échelle internationale les entrepôts de données en libre accès et les archives ouvertes. Recherche possible par nom, région du monde, pays, logiciel, type de contenu, disciplines.
  • FAIRsharing : annuaires d’entrepôts de données et de bases de données de connaissances respectant les principes FAIR.

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

CATALOGUE DE DONNÉES

Ce sont des méta-moteurs cherchant dans plusieurs entrepôts.
On peut citer :

  • openAIRE : structure européenne créée en 2010 dédiée au développement du libre accès en Europe. Elle est à l’origine de l’entrepôt Zonodo.
  • Réseau Quetelet.
  • Humanities Data : Structure cherchant à favoriser la collecte et la diffusion d’informations sur les données publiques particulièrement dignes d’intérêt pour les humanités numériques.
  • B2FIND, le catalogue d’EUDAT (infrastructure européenne de services et ressources multidisciplinaires dédiés aux données de la recherche).
  • DataCite Search : 2680 entrepôts moissonnés, donne accès à des jeux de données mais aussi à des data papers, des articles de revues.
  • Dataset Search : le catalogue de données de Google.
  • CESSDA Data Catalog : catalogue de données du Consortium des archives de données européennes en sciences sociales. Recherche par sujet, année, pays, éditeur.
  • Opendatasoft : plateforme de recherche, de dépôt et de publication de jeux de données produits par les administrations publiques.
    Autre accès.

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

PUD

“Les plateformes universitaires de données (PUD) visent à stimuler l’utilisation des données mises à disposition par PROGEDO. Centrées sur le développement des compétences, les PUD prolongent l’action de PROGEDO au niveau régional et apportent un soutien direct aux utilisateurs de données d’enquêtes par :
l’aide à la recherche, à l’acquisition et à la mise en œuvre des fichiers de données,
la formation à la compréhension, à l’utilisation et au traitement de ces données,
la formation à l’utilisation d’outils informatiques et statistiques.”

(Source : Site de PROGEDO, page dédiée au PUD.
Lien)

RÉSEAU QUETELET

Historique

La diffusion de données est progressive depuis les années 1980. D’abord, des chercheurs du laboratoire Lasmas ont demandé d’accéder à certaines données.
Puis dans les années 1990, la diffusion des données (INSEE) s’est étendue au sein du CNRS.
Dans les années 2000, la diffusion s’est généralisée via le réseau Quetelet et elle s’est étendue aux services statistiques ministériels et aux autres producteurs public avec un accès disponible pour l’ensemble de la communauté scientifiques (universités, EPST, etc.).
En 2012 est créé PROGEDO avec pour objectif de développer la culture des données et d’assurer la coordination du réseau Quetelet.

Précisions sur les types de fichiers disponibles

Trois niveaux de fichiers :

  • Les données confidentielles non anonymisées, variables très détaillées. Elles ne sont pas diffusées en l’état et sont accessibles via des accès sécurisés et contrôlés. De ce fait, elles ne permettent pas forcément des travaux de recherche très évolués.
  • Les données FPR (Fichiers Productions et Recherche) ou Scientific Use Files : elles sont pseudonymisées, ont des variables détaillées, créées par le producteur à destination de la communauté scientifique.
  • Les données standards : publiques, anonymisées, variables agrégées. Diffusées en Open data via ou sur les sites des producteurs comme insee.fr, data.gouv.fr.

Les trois diffuseurs de données du réseau de diffusion QUETELET et leur catalogue :

  • ADISP : Archives de Données Issues de la Statistique Publique
  • INED : Institut National d’Études Démographiques, service des enquêtes
  • CDSP : Centre de Données Socio-Politiques

Le catalogue de l’ADISP.
Il diffuse des données d’enquêtes ponctuelles ou régulières et des données de diverses natures (recensement, panel, localisées, récentes, historiques, etc.)
Il diffuse les données des producteurs suivants :

  • l’INSEE
  • les services statistiques des ministères :
  • DARES : Direction de l’Animation de la Recherche, des Études et des Statistiques –
    Ministère du Travail
  • DEPP : Direction de l’Évaluation, de la Prospective et de la Performance – Ministère
    de l’Éducation
  • DEPS : Département des Études de la Prospective et des Statistiques – Ministère de la
    Culture
  • DGFIP : Direction Générale des Finances Publiques – Ministère des Finances
  • DREES : Direction de la Recherche, des Études, de l’Évaluation et des Statistiques –
    Ministère de la Santé
  • DSED : Département des Statistiques, des Études et de la Documentation – Ministère de
    l’Intérieur
  • MEDES : Mission enquêtes, données et études statistiques – INJEP, Ministère des Sports
  • SIES : Systèmes d’Information et des Études Statistiques – Ministère de l’Enseignement
    Supérieur
  • SDES : Service de l’Observation et des Statistiques – Ministère des Transports
  • d’autres institutions publiques :
  • CEPREMAP : Centre pour la Recherche Économique et ses applications
  • CEREMA : Centre d’Études et d’expertise sur les Risques, l’Environnement, la Mobilité
    et l’Aménagement
  • CEREQ : Centre d’Études et de Recherche sur les Qualifications
  • CNISF : Conseil National des Ingénieurs et Scientifiques De France
  • CREDOC : Centre de Recherche pour l’Étude et l’Observation des Conditions de vie
  • DRIEA : Direction Régionale et Interdépartementale de l’Équipement et de l’Aménagement
    d’Île-de-France
  • INCa : Institut National du Cancer
  • INSERM : Institut National de la Santé Et de la Recherche Médicale
  • ISSP-France : International Social Survey Programme
  • IRDES : Institut de Recherche et de Documentation en Économie de la Santé
  • OCEMO : Office de Coopération Économique pour la Méditerranée et l’Orient
  • OVE : Observatoire de la Vie Étudiante

Il compte environs 1500 jeux de données.
Il s’agit uniquement des données quantitatives.
On y trouve une certaine profondeur historique car la plus ancienne enquête date de 1954.
Les données couvrent le territoire français (métropole et dom-tom)
Les données sont individuelles ou agrégées

Le catalogue de l’ADISP est organisé en dix thèmes :

  • population et démographie
  • travail et emploi
  • salaire et revenus
  • conditions de vie et société
  • santé et protection sociale
  • éducation et formation
  • opinions
  • entreprises
  • données localisées
  • données historiques

L’ADISP produit et diffuse également des produits sur mesure à partir de vingt sources de l’INSEE. Cela permet de faire des tableaux plus détaillés par rapport à ce qu’il y a de directement accessible sur le catalogue.
L’ADISP donne accès à des projections de populations à moyen/long terme sur tout territoire continu de plus 50 000 habitants (à partir de l’outil Omphale).
L’ADISP fournit également des tableaux agrégés prédéfinis sur les hôtels et les campings.

Le catalogue du service des enquêtes de l’INED.
Il produit et diffuse ses enquêtes. Il y a 245 données d’enquête disponibles en 2022 autour de 8 thématiques :

  • couples, familles, sexualité
  • naissance, fécondité, contraception
  • espérance de vie, mortalité, santé
  • migrations, discrimination, intégration
  • habitat, environnement, territoire
  • genre, inégalités hommes-femmes
  • âge de la vie, vieillissement
  • populations du monde

Le catalogue du CDSP.
Plus de 300 références sont disponibles à la fin de l’année 2018 avec deux types de données :

  • les données quantitatives : résultats électoraux et enquêtes quantitatives
  • les données qualitatives : via beQuali : enquêtes qualitatives en sciences humaines et sociale

La commande de données

Pour demander des données au réseau Quetelet, il faut s’inscrire en créant un profil utilisateur, puis faire une demande de données avec une présentation de son projet de recherche. Il faut signer les formulaires associés et les envoyer. Tout est ensuite vérifié et validé en fonction du projet et de l’appartenance institutionnelle. Ensuite, il est possible de télécharger les données voulues.
Pour s’inscrire, aller sur ce lien.

Sources & ressources

  • Zolotoukhine (Eric), Catalogue de données de PROGEDO, Tutoriel MATE-SHS, 4 février 2019.
    Lien
  • Site de PROGEDO.
    Lien
  • Site de l’ADISP.
    Lien
  • Le catalogue de l’INED.
    Lien
  • SITE DU CDSP (centre de données socio-politiques).
    Lien

CASD – Centre d’accès sécurisé aux données

Après habilitation du Comité du Secret statistique ou par convention, on peut travailler directement sur des fichiers très détaillés et des données confidentielles à distance à partir de terminaux sécurisés (SD-Box). Les exports de résultats sont contrôlés.
Historiquement, ce centre fournit trois types de sources :

  • les données individus et ménages
  • les données entreprises
  • les données agriculture.

L’accès à ces données est payant et contrôlés.

Sources & ressource

  • Zolotoukhine (Eric), Catalogue de données de PROGEDO, Tutoriel MATE-SHS, 4 février 2019.
    Lien
  • Site de PROGEDO.
    Lien
  • Site du CASD.

Le fonctionnement du Web

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

Internet vs Web

Internet est antérieur au web, il s’agit de l’infrastructure et du réseau matériel de télécommunication qui relie des ordinateurs, des réseaux entre eux et qui permet le transfert de données. L’Internet utilise des câbles, notamment sous-marins, pour effectuer ces opérations de transfert.
Internet est le support de plusieurs services dont le web, les messageries électroniques, ou encore le FTP (pour échanger des fichiers entre ordinateurs). Aujourd’hui, beaucoup de ces services utilisent le web ce qui explique pourquoi on a tendance à confondre web et internet.
Toutefois, il existe encore des usages d’internet qui n’utilisent pas le web. Par exemple, les données du SUDOC (les notices bibliographiques des documents) qui sont transférées aux logiciels de gestion des bibliothèques, et ensuite visibles sur leur catalogue en ligne ne passent pas par le web.

Le web

Le web a été créé entre en 1989 et 1991 par Tim Berners-Lee avec l’aide de Robert Cailliau au Conseil européen pour la recherche nucléaire (CERN). Il s’est servi des technologies existantes : internet, les ordinateurs et les liens hypertextes. Il invente le navigateur, un logiciel permettant de naviguer au sein d’une collection de documents, des pages, reliées entre elles par des liens hypertextes.

W3C

En 1994, Tim Berners-Lee créé le Word Wide Web Consortium ou W3C qui se donne pour mission de structurer et de suivre l’évolution du web de façon à ce qu’il reste un outil libre, unique, utilisable par tous. Il produit notamment des recommandations sur l’évolution des langages web. Ainsi le html est un langage standardisé maintenu et développé par le W3C (voir ci-après pour plus de précisions sur le html).

Comment fonctionne le web ? Client, serveur et site

Le web fonctionne sur un système de clients et de serveurs.
Le client est l’ordinateur de l’utilisateur. Il est connecté à un internet et utilise un logiciel d’accès au web autrement dit, un navigateur (comme Firefox, Safari, Google Chrome).
Le serveur est un ordinateur qui stocke un site web ou des données brutes.
Un site web est lui-même composé de pages web. Concrètement un site web est un ensemble de fichiers qu’on peut classer en deux catégories :

  • les fichiers de code c’est-à-dire les fichiers écrits en html, css et autres langages, chaque fichier html correspond à une page web.
  • les fichiers ressources comme un fichier image, un fichier son ou vidéo, un fichier PDF qui apparaissent sur les pages web.

Quand un client accède à une page web, une copie de la page est en fait téléchargée depuis le serveur et envoyée au client dont le navigateur affiche la page dans une version lisible par l’humain.

Adresse web, URL et adresse IP

Chaque page web a une adresse web ou URL qui permet de la localiser. Cette URL est une suite de caractères alphanumérique facilement lisible par l’oeil humain. ELle correspond en fait à une adresse IP qui prend la forme d’une suite de chiffres. Les correspondances entre les URL et les adresse IP sont stockées dans des serveurs spéciaux, les DNS (Domain Name System). Ainsi, quand l’utilisateur saisit une adresse ou URl dans un navigateur, celui-ci va chercher l’adresse IP correspondante dans une DNS. Puis, il envoie une requête HTTP au serveur qui stocke la page, de façon à en obtenir une copie.

Le protocole HTTP/HTTPS

HTTP signifie : Hypertext Transfer Protocol. C’est un protocole de communication entre client et serveur. Il a été inventé par Tim Bernes-Lee.
HTTPS est la version sécurisée du protocole HTTP. Il garantit la confidentialité des données envoyées par l’utilisateur et lui permet d’authentifier un site. HTTPS est très utilisé aujourd’hui, notamment pour accéder aux sites marchands et bancaires.
Dans le protocole HTTP, différentes méthodes existent pour préciser des types de requêtes différents qui sont envoyées au serveur. Ce dernier exécute alors la requête.
Voici quelques méthodes :

  • GET sert à demander à récupérer une ressource (page, données)
  • HEAD sert à récupérer uniquement les métadonnées de la ressource (notamment ce qui se trouve dans le header d’une page html. voir ci-après).
  • POST sert à transmettre des données à une ressource pour un traitement. Cela peut signifier la création ou la modification de ressources.
  • PUT sert à ajouter ou remplacer une ressources sur un serveur.
  • PATCH sert à modifier partiellement une ressource
  • DELETE sert à supprimer une ressources

(Source : Wikipédia, Hypertext Transfer Protocol)

Navigateur vs moteur de recherche

Attention à ne pas confondre navigateur et moteur de recherche.
“un navigateur est un logiciel qui affiche des pages web, alors qu’un moteur de recherche est un site web qui aide les utilisateurs à trouver les pages web d’autres sites web.”
On utilise un navigateur pour accéder à un moteur de recherche.
La confusion entre les deux notions tient au fait qu’en ouvrant un navigateur web, on accède souvent directement à la page d’accueil d’un moteur de recherche.
Exemple de moteur de recherche :

  • Les classiques : Google, Bing,
  • Les engagés : Ecosia, Lilo,
  • Les protecteurs de données personnelles : Startpage, Duckduckgo, Qwant

(Source : Mdn Web Doc, Quelle différence entre une page web, un site web, un serveur web et une moteur de recherche ?)

Les langages de balisage

Ils servent à annoter du texte brut avec des informations qui sont lisibles autant par les machines que par les humains. Les annotations sont contenues dans des balises et donnent des informations sur la structure du texte brut autrement dit, sur la structure du contenu. Les balises sont interprétées par un programme informatique.
Il existe plusieurs langages de balisage : le html, le xml, le CSS, le LaTeX, la TEI, le Markdown.

Le HTML

Langage de balisage du web. Toutes les pages web sont écrites en html ce qui permet l’interopérabilité du documents présents sur le web. Une page web est contenu dans un fichier .html.
Il existe un nombre limité de balises, et ce langage est maintenu par le W3C qui décide d’intégrer de nouvelles balises.
Le html se caractérise par un système de balises ouvrantes et de balises fermantes (sauf exception comme <br/> pour le saut de ligne).
Exemple :
<h1>contenu titre</h1>.

Structure html d’une page web :
<html> <head> </head> <body> </body> </html>.

La balise <html> </html> est la balise racine qui encadre toutes les autres.

Entre les balises <head> </head> se trouvent les métadonnées qui ne s’affichent pas sur la page que lit l’internaute. Les métadonnées y sont contenues entre des balises plus spécifiques pour déterminer l’encodage, le titre de l’onglet, etc.

Entre les balises <body> </body> se situe tout ce qui est affiché sur la page web.

Cette structure est obligatoire et se retrouve sur toutes les pages web de tous les sites.
Les balises peuvent donc s’imbriquer les unes dans les autres. Une balise qui contient une autre balise est dite “parente”, la balise imbriquée est dite “enfant” ou “descendante”. Cette imbrication peut avoir des conséquences notamment lors de l’application du CSS (voir ci-après).

La structuration des balises.
Une balise peut être dotée d’un attribut, et l’attribut être doté d’une valeur.
balise + attribut + valeur de l’attribut :
<balise attribut="valeurdelattribut">.
Exemple :
<h1 class="black">, qui signifie que la balise h1 qui détermine un titre de niveau 1 (le plus gros) a un attribut de type “class” qui a lui même une valeur, “black”.
Attention, l’attribut est toujours ajoutée dans la balise ouvrante, jamais dans la balise fermante.

Les principales balises html :

  • balises paragraphe :
    <p> contenu </p>.
  • balise saut de ligne :
    <br/>.
  • balises titre de la page (il y a 6 niveaux de titre, du h1 au h6) :
    <h1> contenu </h1>.
  • balises pour mettre en gras son contenu :
    <strong> contenu </strong>.
  • balises pour mettre en italique son contenu :
    <em> contenu </em>.
  • balises pour faire des listes ordonnées ou numérotées :
    <ol> <li> </li> <li> </li> <li> </li> </ol>.
  • balises pour faire des listes non ordonnées :
    <ul> <li> </li> <li> </li> <li> </li> </ul>.
  • balise pour insérer une image. C’est une balise autofermante :
    <image/>.
    Il faut lui ajouter un attribut de type “src” et mettre le lien vers le fichier image :
    <image src="nom-du-fichier-image.jpg" />.
  • balises pour insérer un lien hypertexte :
    <a> contenu avec un lien hypertexte </a>.
    Comme pour la balise image, il faut lui ajouter un attribut et sa valeur qui correspond à l’url du liens qu’on veut indiquer :
    <a href="https://www.siteavoir.com">Pour aller plus loin</a>.
    La chaîne de caractère “Pour aller plus loin” apparaîtra sur la page web avec un lien hypertexte renvoyant au site indiqué au sein de la balise.
  • Il existe des balises génériques :
    <span> </span>
    <div> </div>.
    Elles n’ont pas de signification sémantique à l’inverse de “h1” qui indique un titre, “p” qui indique un paragraphe, etc. Elles sont utilisées pour mettre en forme le contenu qu’elles encadrent grâce à des attributs qui seront repris dans un CSS (voir ci-après).

Ces attributs sont :

  • class : renvoie au nom de la classe CSS à employer.
  • id : donne un nom à la balise et permet de l’identifier. Il faut que ce nom soit unique sur la page.
  • style : sert à indiquer directement le code CSS qu’on veut appliquer. Cet attribue n’est pas conseillé.

Ces attributs peuvent être utilisés dans d’autres balises et pas seulement dans “span” et “div”.

Le CSS – Cascading Style Sheet

Langage de mise en forme du contenu html maintenu par le W3C.
Sans entrer dans les détails de la mise en relation d’un fichier html avec une feuille de style css (qui intervient dans la balise <head> du fichier html), il s’agit ici de se concentrer sur les principes moteurs du css : les sélecteurs, les propriétés et les valeurs.

  • Le sélecteur : c’est l’élément html sur lequel on souhaite appliquer un style.
    Par exemple, si on souhaite appliquer un style aux paragraphes, on choisit l’intitulé de la balise html du paragraphe, “p”. Si on souhaite appliquer un style aux titre de niveau 2, on prendra comme sélecteur “h2”.
    Après le sélecteur, on ajoute des accolades {} qui contiendront les propriétés et les valeurs.
    Ex : p {}.
  • Les propriétés : elles indiquent quel aspect de l’élément html on souhaite mettre en forme : la taille, la couleur, la police, etc. La propriété est directement suivie d’un “deux-points” sans espace.
    Ex : css p { color: } .

On ne peut pas créer de propriété, elles sont prédéfinies, il faut donc les connaître. De nombreux sites recensent ces propriétés (voir le site du W3C ou le cours de Mathieu Nebra sur le site OpenClassrooms, Mémento des propriétés CSS).

  • La valeur : elle s’applique à la propriété.
    Ex : css p { color: black } .
  • Si on souhaite appliquer une autre propriété à ce sélecteur, on ajoute un point-virgule après la valeur.
    Ex : css p { color: black; } .
  • Ce qui permet d’ajouter une nouvelle propriété et valeur à ce sélecteur, comme la police de caractère.
    Ex :
    css p { color: black; font-family: Arial; } .

CSS : héritage des propriétés.

Une notion fondamentale du CSS veut que tout élément html qui est imbriqué dans une balise hérite des propriétés CSS de cette balise parente.
Par exemple, si on applique la couleur bleue à une balise <div></div> qui contient des balises <p></p>, la couleur bleue s’applique aussi aux paragraphes.

Sources & ressources

  • Site du CNRTL, article “Internet”.
    Lien
  • Site de Aune (Nicolas), Apprendre html et CSS.
    Lien
  • Site de DariahTeach, Langages de balisage et modélisation du texte.
    Lien
  • Site Mdn Web Doc, Le fonctionnement du web.
    Lien
  • Site Mdn Web Doc, Quelle différence entre une page web, un site web, un serveur web et une moteur de recherche ?.
    Lien
  • Nebra (Mathieu), Comprendre le web, Site OpenClassrooms, mis à jour le 2 mars 2022.
    Lien
  • Nebra (Mathieu), Mémento des balises html, Site OpenClassrooms, mis à jour le 25 février 2022.
    Lien
  • Nebra (Mathieu), Mémento des propriétés CSS, Site OpenClassrooms, mis à jour le 25 février 2022.
    Lien
  • Nebra (Mathieu), Apprenez à créer votre site web avec HTML5 et CSS3, Site OpenClassrooms, mis à jour le 25 février 2022.
    Lien
  • WC3, List of CSS properties, both proposed and standard, mis à jour le 7 juillet 2022.
    Lien
  • Wikipédia, Hypertext Transfer Protocol, mis à jour le 23 mai 2022.
    Lien
  • Wikipédia, Langages de balisage, mis à jour le 3 janvier 2022.
    Lien

Les méthodes de collecte des données

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

QUESTIONNEMENT INTRODUCTIF

Les méthodes de données vont dépendre du type de données collectées : des données produites ou collectées, données non numériques ou numériques.

Les méthodes de production de données

Elles peuvent dépendre d’une méthode propre à une discipline comme la récupération de données archéologiques qui passe par les techniques de fouilles archéologiques.
Dans le même ordre d’idées, les sciences sociales comme l’ethnologie, l’anthropologie, la sociologie, les sciences du langage, les sciences politiques peuvent utiliser des méthodes bien définies par les disciplines telles que :

  • l’entretien (dirigée, semi-dirigée, non-dirigée)
  • le questionnaire
  • le sondage
  • l’observation (structurée, systématique, non-structurée, non-systématique)
  • le groupe de discussion
  • les enquêtes (par sondage, panel, test standardisé, questionnaire)

De manière générale, la communauté des chercheurs acquiert également des données non numériques par des moyens plus informels comme les échanges entre chercheurs notamment lors de rencontres, discussions, colloques, conférences. Ces échanges peuvent se traduire par une prise de note manuelle, sur papier.

Attention, ces données orales, non verbales, peuvent être collectées de façon numérique par le biais d’enregistrements ou d’outils numériques comme les cahiers de laboratoires ou les carnets de terrain.
Pour les données collectées de façon non numériques, il peut ensuite y avoir un processus de numérisation :

  • photographie numérique d’un objet, d’une situation ou numérisation d’images analogiques
  • transcription écrite d’enregistrement analogiques (ou numériques)

Toutefois nous sommes déjà ici dans le champ du traitement des données en vue de leur analyse. [Voir : fichier “Traitement et analyse] [Voir : cahier de terrain électronique]

Les méthodes de collecte de données

Un chercheur peut également récupérer des jeux de données préalablement collectées et traitées par d’autres chercheurs dans le cadre d’autres projets de recherche ou des données non structurées, non conçues pour la recherche.
Elles sont nombreuses et demandent plus ou moins de compétences informatiques.
Le chercheur peut se poser la question du temps à investir dans l’apprentissage et la maîtrise de ces méthodes. Est-il prêt à dépenser un tel temps ? Sa recherche nécessite t-elle ce type de méthodes ?
Le chercheur dispose-t-il du matériel nécessaire à ce type d’opération ?
Nous détaillons les méthodes ci-dessous.

Source & ressources

  • Del Bayle (Jean-Louis), Initiation aux méthodes des sciences sociales, Paris-Montréal, L’Harmattan, 2000, 272 p. Une édition numérique réalisée par, Émilie Tremblay, bénévole, doctorante en sociologie à l’UQAM.
    Lien
  • Sauvayre (Romy), Les méthodes de l’entretien en sciences sociales, Dunod, 2013.
    Lien
  • Billet de blog : T.T, Entretien ou questionnaire : quelle méthode de collecte de donnés pour son mémoire ?, 6 janvier 2017.
    Lien
  • Norimatsu (Horiko), Cazenave-Tapie (Pascal), Techniques d’observation en Sciences humaines et sociales, 52ème Congrès International de la Société d’Ergonomie de Langue Française (SELF), 20-22 Septembre 2017, Toulouse, France. Actes du 52ème Congrès de la SELF 2017, pp. 529-532.
    Lien,
    Actes complets disponibles en ligne.
  • Observatoire Espace & Société, La méthodologie d’enquête en sciences sociales, 2019.
    Lien

COPIER-COLLER

Sur une page web ou un document téléchargé, il est possible de copier-coller des données ou des informations. Il s’agit d’une opération manuelle coûteuse en temps.
Raccourci clavier sous Windows après sélection de l’extrait à copier :
copier : ctrl + C,
coller : ctrl + V.
Raccourci clavier sous Mac OS après sélection de l’extrait à copier :
copier : Cmd + C,
coller : Cmd + V.

Cette méthode peut être remplacée par une méthode semi-automatique, le web scraping qui permet de collecter des données de façon plus massive.

Sources & ressources

  • Wikipédia, Copier-Coller, mis à jour le 28 juillet 2021.
    Lien

TÉLÉCHARGEMENT

Méthode consistant à transférer des données ou des informations d’un ordinateur à un autre.
Il existe plusieurs types de téléchargement :

  • téléchargement direct avec stockage d’un fichier
  • lecture en continue ou streaming
  • navigation web,
  • téléchargement pair-à-pair (entre ordinateurs qui sont tous deux à la fois serveur et client)
  • téléchargement licite
  • téléchargement illicite.

Un fichier téléchargé peut être soumis au DRM (gestion numérique des droits) qui gère les conditions de son utilisation.
Pour le chercheur, il est possible de télécharger un jeu de données à partir d’un entrepôt de données, ou des documents à partir d’une base de données documentaire comme Persée, Cairn ou à partir d’une archive ouverte comme HAL.

Sources & ressources

  • Wikipédia, Téléchargement, mis à jour le 6 juillet 2022.
    Lien

FLUX RSS

Définition

  • Really Simple Syndication
  • Une technologie du web
  • Fichier texte au format XML. Il contient a minima un titre, une description, et l’URL de la ressource.
  • Syndication de contenus : publier automatiquement sur un site web, des infos provenant d’autres sites web
  • Agrégation de contenus : Stocker et consulter des contenus provenant de plusieurs flux d’informations.

À quoi servent les flux RSS ?

  • A organiser sa veille
  • A repérer les modifications de contenu d’un site web.
  • A récupérer les nouveauté d’un site web (quotidien, blog, base de données, compte twitter) et les intégrer dans un autre site ou logiciel.
  • Autrement dit : collecter de l’information de façon automatisée sans devoir aller consulter chacun des sites que l’on suit.

Comment utiliser les flux RSS ?

Grâce à des agrégateurs ou lecteur de flux. Ils permettent d’afficher sur une interface personnalisable les nouveautés des sites web dont on suit le fil RSS. Il s’agit d’outils de centralisation des flux d’informations issus de ces sites. Les agrégateurs fournissent des outils pour classer les flux par thématiques ou ordre alphabétique.
Ils sont de plusieurs types :

  • agrégateurs de flux en ligne de type application web
    Exemple d’agrégateur en ligne : feedly
  • agrégateurs à installer sur l’ordinateur, logiciel spécifique.
    Exemple d’agrégateur à installer : QuiteRSS (libre et open source) Raven Reader (open source)
  • page personnalisable : outil proche des deux précédents, la page personnalisable permet de créer un site web personnel, de l’organiser en onglet thématiques qui centralisent les flux RSS et intègrent d’autres services comme la messagerie électronique ou encore les comptes de réseaux sociaux.
    Exemple de page personnalisable : Netvibes
  • navigateurs : les navigateurs comme Firefox ou Internet explorer peuvent lire des flux rss et les intégrer aux favoris. Le flux s’affiche ensuite comme un marque-page
  • Certaines messageries comme Outlook ou Thunderbird permettent également d’intégrer des flux rss.

Notions liée : l’OPML

Outline Processor Markup Language. Format de fichier de type xml. Il permet le regroupement et l’identification des titres d’un texte. Il est utilisé dans l’univers des flux rss pour échanger des listes d’abonnements entre agrégateurs de flux.

Sources & ressources

  • Page web sur les outils de veille et les outils collaboratifs de l’université de Rennes 2. Licence CC-BY-NC-ND.
    Lien
  • Corinne Habarou – Urfist Paris, Utiliser les flux RSS pour sa veille : choisir son lecteur, session 2017. Licence CC-BY-NC-SA.
    Lien
  • Bibliothèques universitaires de l’université Aix-Marseille, page dédiée à l’automatisation de sa veille professionnelle, dernière mise à jour en septembre 2021.
    Lien
  • Wikipédia, Tableau comparatif des agrégateurs de flux, dernière mise à jour le 6 décembre 2021.
    Lien

WEB SCRAPING

Définition

Le web scraping consiste à récupérer de manière automatisée le contenu d’une ou plusieurs pages web à l’aide de scripts ou de logiciels et de sauvegarder ce contenu dans des formats de fichiers qui en facilitent l’analyse (de type, xml, json, csv ou texte brut).
Il permet de collecter certains éléments ciblés dans le code html de la page web.
Il permet d’éviter le copier-coller qui est une méthode humaine et manuelle.
Exemple d’utilisation : collecter les échanges d’une discussion sur un forum.

Distinction entre web crawler et web scraper

Web crawler : robot parcourant les sites web pour lister et stocker les URLS entrantes et sortantes de chaque page web.

Web scraper : robot ou programme parcourant des listes prédéfinies de sites web (donc des URL) pour extraire leur contenu. L’extraction s’effectue grâce à des sélecteurs comme XPath, CSS ou RegEX qui permettent de sélectionner des éléments de la structure html des pages du site scrapé.
Concrètement un sélecteur est une chaîne de caractère (en texte brut) qui explique au web scraper quels types de données il doit collecter et extraire de la page web.

Le web crawler va guider le web scraper d’url en url
Le web scraper collecte les données des url indiquées par le web crawler.

Les outils du web scraping

Plusieurs types d’outils permettent de faire du web scraping :

  • Des outils “clé-en-main” qui ne nécessitent pas de coder :
    • les extensions de navigateur comme Webscraper IO qui fonctionne avec Google Chrome.
    • les logiciels à installer sur son propre ordinateur comme Octoparse (payant au- delà de 14 jours) ou encore ParseHub (version téléchargeable gratuite, version cloud payante).
  • Des outils et des techniques pour créer son propre web scraper qui nécessitent des compétences en programmation informatique : les langages de programmation, les librairies, bibliothèques ou packages et les éditeurs de texte, éditeurs de code, IDE.
    • Il existe plusieurs langages de programmation, notamment Python, Java, C, C++, R, LaTeX, SQL, XML, Javascript, html, RDF.Python est une sorte de langage à tout faire. Il permet notamment de faire de l’analyse de données et de créer des interfaces.
    • Les librairies ou bibliothèques ou packages sont des portions de codes autrement dit un ensemble d’objets et de fonctions spécialisés dans un domaine d’utilisation. Les librairies n’ont pas d’interfaces graphiques, uniquement du code à réutiliser. Une bonne librairie possède une documentation bien développée.Par exemple Scrapy est une bibliothèque destiné au langage Python qui permet d’extraire des données en ligne. Elle est gratuite, open source et très bien documentée.
    • l’éditeur de texte possède des fonctionnalités limitées : écrire du texte,
      aligner le texte, modifier la taille de la police d’écriture.
    • l’éditeur de code possède des fonctionnalités plus avancées que l’éditeur de texte. Conçu pour écrire des logiciels, il permet de changer les polices et les couleurs pour une meilleure lisibilité du code qu’on est en train d’écrire, ou encore de se servir d’une autocomplétion propre au langage de programmation utilisé. On peut y ajouter des extensions pour plus de fonctionnalités et de personnalisation.
    • un IDE ou Environnement de développement intégré est un logiciel qui permet d’écrire, de compiler, de tester, de lancer, de dégobuer des logiciels. En résumé l’IDE comprend un éditeur de texte et plusieurs outils supplémentaires comme un débogueur qui exécute ligne à ligne le programme en cours d’écriture et aide à trouver les erreurs de programmation.
      Certains IDE s’emploient avec des langages de programmation spécifiques : IDE pour Python comme Pycharm ou Atom, IDE pour R comme RStudio, IDE pour javascript comme Visual Studio Code. Certains IDE servent à coder en plusieurs langages comme l’IDE CodeLite pour Python, C, C++, Javascript, PHP, Rust (Open source).

Est-ce légal ?

Le web scraping n’est pas illégal en soi mais sa légalité peut être compromise en fonction de l’utilisation des données scrapées, par exemple en cas d’utilisation commerciale des données. Certains sites n’autorisent pas le scraping. Avant de scraper, il faut lire les CGU (conditions générales d’utilisation) et les CGV (conditions générales de vente) et bien connaître le RGPD pour ce qui concerne les données à caractère personnelles. Le site de la CNIL fournit des informations et des outils à jour sur ce sujet.
Voir par exemple CNIL, Quels outils pour aider les acteurs de la recherche dans leur mise en conformité ?, 31 janvier 2022. Lien

Les obstacles au web scraping

  • La structure d’une page web évolue fréquemment. Il faudra donc modifier les scripts du web scraper en conséquence sinon, il peut ne renvoyer aucune donnée ou des données incomplètes et/ou inexactes.
  • Certains sites mettent en place des mécanismes “anti-scraping” et des pièges pour
    empêcher la collecte des données.
  • La qualité des données obtenues n’est pas garantie.

Sources & ressources

  • CNIL, quels outils pour aider les acteurs de la recherche dans leur mise en conformité ?, 31 janvier 2022. Lien
  • Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, Tuto MATE-SHS, 24 mai 2018.
    Lien
  • Site : Data Transition numérique.
    Lien
  • Site Sales Hacking.
    Lien
  • Présentation de l’extension Webscraper : Virginier Lethier, Les trucs et astuces de la plateforme technologique : Web scraping, MSHE, Université Franche-Comté, 11 avril 2019.
    Lien
  • Ménage (Pauline), Altenbernd (John), Hemmer (Roland), Adoptez Visual Studio comme environnement de développement, Site OpenClassrooms, mis à jour le 21 février 2022, (présente la différence entre éditeur de texte, de code et IDE).
    Lien

XPATH – XML Path Language

Définition

Pour bien comprendre le XPath, il faut connaître les notions propres aux XML.
Originellement, XPath est un langage de requête maintenu par le W3C qui permet de localiser une partie d’un document XML. Il est aussi employé pour repérer des portions dans des documents structurés donc écrits dans des langages structurés comme les langages de balisage tels que le html (page web). Les balises contiennent des infos. Les balises ont un type et peuvent avoir un attribut et un contenu. Par exemple, on peut vouloir sélectionner le contenu de la balise ou bien son attribut.
Distinction entre le contenu et l’attribut :

  • contenu : ce qui est entre les deux balises :
    <p>contenu</p>
  • attribut : ce qui est contenu dans la balise :
    <a href="www.nomdunsiteweb.fr">contenu</a>

XPath permet de dire à quel endroit de la structure on souhaite se positionner.
Par exemple, il possible de sélectionner tous les liens hypertexte contenus dans la page web consultée.
XPath consiste à écrire en texte brut le chemin qui permet d’accéder et de sélectionner les éléments de la page web voulus.

Le chemin XPath, les noeuds et les relations

Le chemin XPath comprend les notions de racine, noeud et de relations entre noeuds qui appartiennent à l’organisation d’un document XML.
Un noeud peut être, entre autres, le document lui-même (noeud racine), un élément xml (ou balise html), un attribut xml, le contenu de l’élément (ou de la balise).
Les relations entre noeuds sont de différentes natures :

  • Relation parents : tous les éléments et tous les attributs ont un parent.
  • Relation enfant : un noeud peut avoir un nombre illimité d’enfants.
  • Relation frère : deux noeuds ayant le même père sont frères.
  • Relation ancêtre : tous les ancêtres d’un noeud jusqu’au noeud racine qui est l’ancêtre de tous les noeuds du document.
  • Relation descendants : les fils et fils des fils. Tous les noeuds d’un document XML sont les descendants du noeud racine.

Les noeuds qui n’ont ni parents, ni enfant son dits “valeur atomique”.
Tous les noeuds sont structurés, ordonnées.
Avec XPath, plusieurs chemins mènent à un noeud :

  • le chemin le plus simple va de la racine au noeud ciblé en passant par tous les noeuds parents intermédiaires.
  • On peut aussi sauter un noeud.
  • Attention, un chemin peut aussi mener à plusieurs noeuds.

Comment écrire un chemin XPath ?

“Le premier concept est celui de noeud courant : c’est l’endroit d’où l’on part. En première lecture on peut imaginer qu’il s’agit de la racine du document, mais n’importe quel noeud peut jour ce rôle. À partir de là, on considère trois éléments :

  • un axe : la direction dans laquelle on se dirige à partir du noeud courant (vers le père, vers les fils, vers les frères de gauche, etc.) ;
  • un filtre : le type de noeuds qui nous intéresse dans l’axe choisi (des noeuds quelconques, des éléments quelconques ou un élément précis, des commentaires, etc.) ;
  • un prédicat optionnel : des conditions supplémentaires pour sélectionner des noeuds parmi ceux retenus par le filtre dans l’axe.
    Ils constituent à eux trois une étape et on les note axe::filtre[prédicat]. L’enchaînement de plusieurs étapes constitue une chemin XPath.”

(Source : Site de Fabien Torre, Cours sur les requêtes XPath)

Les principes de sélection

Il y trois grands principes de sélection :

  • le principe de sélection qui distingue l’enfant d’un noeud et son descendant.
  • enfant : on prend le noeud juste en dessous (/).
  • descendant : on prend le noeud à n’importe quel niveau inférieur de l’arborescence (//). Utile pour récupérer tous les liens indiqués sur une page web.
  • le principe de sélection qui est basé sur le contenu du texte ou de la balise, il est très important, très fréquent, notamment pour récupérer les noeuds qui correspondent à une condition et porte soit sur le texte (la balise), soit sur l’attribut de la balise.
  • Exemple : //div[@class="book"] = On sélectionne toutes les balises div dont l’attribut est “class” et dont le nom est “book”.
  • Autre exemple : //a[contains(text(),"anthropologie")] = on récupère tous les liens (a) qui contiennent le texte “anthropologie”.
  • le principe de sélection qui consiste à aller jusqu’à un noeud puis de monter ou de descendre, il est moins fréquent. Quand on est à un endroit, on peut spécifier si on veut monter ou descendre, prendre le frère ou le parent de tel ou tel noeud avec une série d’opérateurs qui permettent de sélectionner les infos qui nous intéressent.

En résumé : en XPath, il y a une série d’opérateurs important :

  • /= Enfant
  • // = Descendant
  • [] = Condition
  • @ = Attribut
  • contains()

Exemples de requêtes XPath :

  • /a = tous les liens hypertexte au niveau de la racine.
  • //a = tous les liens hypertexte de la page.
  • //div/a = tous les liens hypertexte immédiatement dans le div.
  • //div//a = tous les liens hypertexte n’importe où dans le div.
  • //a[contains(text(),'anthropologie')] = tous les liens hypertexte contenant ‘anthropologie’.

(Source : CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 3 “Sélectionner des données avec XPath)

Outil et astuce

  • Utiliser l’inspecteur d’élément (clic droit sur la page web puis “inspecter” ) pour visualiser simultanément un endroit sur une page web en y passant la souris et son code html correspondant ce qui permet de voir entre quel type de balises il se situe.
  • Chropath : extension pour le navigateur Firefox qui aide à écrire les chemins XPath.

Sources et ressources

  • Blog de José Paumard, Une première requête Xpath, 2018.
    Lien
  • CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 3 “Sélectionner des données avec XPath”.
    Lien
  • MDN web docs, Xpath, mis à jour le 28 mai 2022.
    Lien
  • Site de Fabien Torre, Cours sur les requêtes XPath, Université de Lille, mis à jour le 21 décembre 2021. Licence CC-BY-NC-NA.
    Lien
  • W3C Schools, XPath Tutorial.
    Lien

SELECTEURS CSS

Rappel

  • Le CSS est un langage employé pour mettre en forme la structure d’une page html.
    En général le CSS se trouve dans un fichier à part, relié au fichier html (le fichier CSS et les fichiers HTML sont dans un même dossier), ou dans le header du fichier html.
    Le CSS va cibler des éléments html pour les mettre en forme avec des sélecteurs.
  • La technique du scraping utilise des sélecteurs, notamment des sélecteurs CSS qui sont un pseudo méta-langage qui servent à cibler les éléments de la structure html pour en extraire du contenu.

Les sélecteurs CSS :

  • sélecteur de type : on reprend le nom de la balise html (body, h1, h2, h3, p, div, etc.).
  • Exemple :body {,
    pour mettre en forme ce qui est dans le body de la page html.
    On peut ajouter une couleur de fond, une taille de police, etc.
  • sélecteur d’attribut : dans le css, on le cible par le nom de la balise + entre crochet le nom de l’attribut :
  • Exemple a[href*="cnrs"],
    auquel on ajoute une mise en forme (couleur, police, fond, épaisseur de police).
  • sélecteur d’identifiant : dans le CSS on les cible par le dièse + nom de l’identifiant + {.
  • Exemple : #bonjour {,
    auquel on ajoute une mise en forme (couleur, police, fond).

Rappel : en html, un identifiant est un attribut que l’on applique à une balise. La valeur attribuée à un identifiant est unique par document.
Exemple : <image id="photodevacance1734.png">

  • sélecteur de classe : dans le css, on la cible par un point + nom de la classe + {.
  • Exemple : .paragraphe {,
    auquel on ajoute une mise en forme (couleur, police, fond, épaisseur de police).

Rappel : en html, une classe est un attribut que l’on applique à une balise. La valeur d’une classe peut être appliquée à plusieurs éléments de nature différente du documents.
Exemple : class=”red” peut être appliqué à une balise <p></p> et <h1></h1>.

Rappel : les attributs “id” et “class” sont surtout utilisés dans le html pour la mise en forme. Ils servent à appliquer des styles CSS aux éléments qui les contiennent. Ainsi, ils constituent des sélecteurs CSS particulièrement utiles.

  • sélecteurs combinés : assemblent plusieurs sélecteurs en une seule phrase. On combine plusieurs sélecteurs au sein d’un sélecteur.
    Combiner le sélecteur de la classe + le descendant direct de la classe s’écrit :
    .paragraphe > a {.

Sources & ressources

  • Site de Nicolas Aune, Apprendre html et CSS.
    Lien
  • ScrapyFly, billet de blog, Parsing HTML with CSS Selectors, 07 février 2022.
    Lien
  • Vergnaud (Frédéric), Extractify – un plugin Chrome d’extraction des données par son concepteur Frédéric Vergnaud, Tuto MATE-SHS, 14 décembre 2020.
    Lien
  • MDN Web docs, Sélecteurs CSS, mis à jour le 17 juin 2022.
    Lien
  • Site de Pierre Giraud, Les attributs HTML class et id et les sélecteurs CSS associés.
    Lien

EXPRESSIONS REGULIERES ou REGEX

Définition

Les expressions régulières ou expressions rationnelles ou RegEx sont un outil de type “rechercher et remplacer”.
Elles vont chercher un motif, une expression, dans le texte, et réaliser une opération sur ce motif.
Cette opération peut être : trouver le motif, le remplacer ou l’extraire.
C’est un outil très utile quand on travaille avec du texte notamment du texte non structuré.
C’est un outil utilisé très fréquemment en informatique.
En plus d’être un outil, RegEx c’est aussi un langage très puissant.

Qu’apportent-elles de plus que l’opération “ctrl+F” ou “cmd+F” ?

Elles permettent par exemple de trouver toutes les adresses mails ou encore toutes les URL dans un fichier texte comme un fichier html.
Elles permettent de trouver des occurences d’un terme ou d’une expressions à un endroit particulier de la phrase. Par exemple, trouver le mot “ciao” en début de phrase uniquement et non pas en fin de phrase.
Elles permettent aussi de calibrer le nombre de résultats qu’on veut extraire à partir d’une requête. Par exemple on peut extraire tous les “ciao” d’un texte ou seulement huit “ciao” ou huit “ciao” en début de phrase et huit “ciao” en fin de phrase.

Concrètement comment se présente une RegEX ?

C’est une chaîne de caractères.
Certains de ces caractères ont une fonction spécifique. L’ensemble de ces fonctions basées sur des caractères forment la syntaxe ou la grammaire des expressions régulières. Ainsi, il y a des règles à suivre pour rédiger une expression régulière qui soit correctement interprétée par un moteur.
Ce moteur peut avoir la forme d’une interface graphique ou celle d’une interface textuelle (éditeur de texte, IDE).

Quelques règles de syntaxe des RegEx

  • RegEx prend en compte la casse (majuscule ou minuscule).
    Si on écrit b, elle sélectionne tous les caractères “b” du fichier comme les “b” de Abou Dabi mais pas celui de Boston.
  • Si on écrit horticu, il sélectionne “horticulture”, “horticulteur” mais pas “horticole” car la lettre suivant le “c” n’est pas un u.
  • Si on écrit une date avec des tirets underscore comme 11_09_2001 il ne sélectionne PAS la date écrite avec des tirets “11-09-2001”.
  • L’ordre des caractères est pris en compte par les RegEx. Si on écrit 1981 il ne sélectionne pas “1891” car la place du 9 et du 8 est inversée.
  • Les RegEx peuvent intégrer des inconnues dans les opérations ce qui permet de généraliser une requête. Si on écrit p[a-z]rf, la RegEx peut sélectionner “parfum”, “parfait”, “perfuser” “perfide”. Autrement dit il retient toutes les chaînes de caractères qui comprennent un “p” minuscule suivi de n’importe quelle lettres suivie d’un “r” et d’un “f”.

Certaines règles de syntaxe permettent de généraliser davantage. Par exemple, si on écrit :

  • \d la RegEx sélectionne n’importe quel nombre.
  • \w la RegEx sélectionne n’importe quel mot, chiffre, ou _.
  • . la RegEx sélectionne n’importe quel caractère.

Certains caractères ou opérateurs permettent de localiser la requête au sein de la chaîne de caractère. Par exemple, si on écrit :

  • ^ la RegEx sélectionne le début de la ligne.
  • $ la RegEx sélectionne la fin de la ligne.
  • \b la RegEx sélectionne la fin d’un mot ou plus précisément, la frontière entre un caractère de type \w et un caractère appartenant à un autre type comme un espace.
  • Exemples :
  • ^Boston, la RegEx sélectionne “Boston, je rêve d’y aller.” mais pas “Je rêve d’aller à Boston”.
  • Boston$, la RegEx sélectionne “Je rêve d’aller à Boston.” mais pas “Boston, je rêve d’y aller”.
  • jardin\b : la RegEx sélectionne “jardin” mais pas “jardiner” ni “jardinier”.
  • \b\d : la RegEx sélectionne les chiffres en “début de mot”

Il existe aussi des quantificateurs qui précisent la quantité de ce qui les précède immédiatement :

  • a? signifie que ce qui précède (“a”) est présent zéro ou une fois. Cela équivaut à la question “Y a-t-il un “a” ?”.
  • a* signifie que ce qui précède (“a”) est présent zéro fois ou plus.
  • a+ signifie que ce qui précède (“a”) est présent une fois ou plusieurs fois.
  • a{3} signifie que ce qui précède (“a”) est présent 3 fois d’affilée.
  • ou encore : \d{4} = sélectionne n’importe quel suite de 4 chiffres minimum : “1968”, “12345” mais pas “123”.
  • a{2,} signifie que ce qui précède (“a”) est présent 2 fois ou plus.
  • a{2,5} signifie que ce qui précède (“a”) est présent entre 2 et 5 fois (aa, aaa, aaaa, aaaaa mais pas a ni aaaaaa).

Attention, parfois le langage RegEx et le langage naturel se confondent notamment avec des caractères tels que : ., +, *, \, [], ?. Donc pour spécifier qu’on veut mettre des caractères en langage naturel on utilise \. Cela s’appelle “échapper un caractère”.

Un outil

Regex101 : site où tester ses expressions régulières.

Sources & ressources :

  • Perret (Arthur), Cours sur les expressions régulières, mis à jour le 29 mars 2022.
    Lien
  • Davechild, Regular Expressions Cheat Sheet : un tableau récapitulatif des éléments RegEx et de leur signification.
    Lien
  • Regular expressions info : site de formation aux expressions régulières.
    Lien
  • RexEgg : site de formation aux expressions régulières.
    Lien

PARSER ou ANALYSEUR SYNTAXIQUE

Le parser sert à exploiter du texte brut. C’est un outil permettant de mettre en évidence, de dégager une structure à partir d’un texte brut pour, ensuite, extraire les données voulues rapidement. La structure dégagée peut être tabulaire (CSV) ou arborescente (XML, HTML).

Sources & ressources

  • CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 2 “Ecrire et surtout lire le web”.
    Lien

API : Application Protocol Interface

Définition

Aujourd’hui, il y a une tendance à utiliser le terme API pour désigner un web service. Le web service est un type d’API, plus précisément une API disponible depuis une URL.
Définition d’Emmanuelle Bermès, Le web sémantique en bibliothèque, p. 35 :

“Les API sont des interfaces permettant à des applications de communiquer entre elles : une API fournit une façade formalisée par laquelle un logiciel offre des services à d’autres logiciels (récupération de données ou autres interactions). On parle aussi de Web service pour désigner des API qui utilisent les technologies du web. La plupart des sites du Web 2.0 (Amazon, Twitter, Facebook,…) offrent des API qui permettent à d’autres sites ou services en ligne de réutiliser le contenu qu’ils produisent (il est ainsi possible, par exemple, de récupérer directement et automatiquement sur son compte Facebook les tweets de son compte Twitter). La plupart de ces API sont propriétaires, c’est-à-dire que les interactions possibles dépendent du bon vouloir du fournisseur.”

Autrement dit :

Un producteur de données se sert d’une API (ou Web service) pour exposer ses données.
L’utilisateur de données se sert de l’API pour récupérer des données notamment via des URLs. Le système des API est très répandu, il sert à interroger des bases de données et à renvoyer des résultats à l’utilisateur.
Par exemple, une application météo sur un smartphone utilise une API qui va se connecter à une base de données où se trouvent les informations météorologiques pour les récupérer et les afficher elle-même. Les données récupérées via une API sont souvent destinées à être traitées par un autre programme informatique (et non pas directement par l’humain). Le fichier récupéré est donc peu lisible.
Les API sont toujours accompagnées d’une documentation qui donne des explications sur la manière de récupérer et traiter les données. Pour utiliser une API il est crucial de lire la documentation.

Concrètement, une API de type web service est une URL avec en fin d’URL un paramétrage pour filtrer les données. Ce paramétrage est propre à chaque producteur d’API.

API = URL + paramétrage

Différents types d’API

Il existe plusieurs types d’API. Il existe des API privées et des API publiques.
L’API privée ne peut être utilisée qu’en interne.
L’API publique est accessible à tous, elle autorise des tiers à développer des applications qui interagissent avec elle.
Dans l’univers des API web, il existe les API REST, basées sur le protocole HTTP, les API GraphQL, les API SOAP.

Quelle est la différence entre API et Web scraping ?

Les API permettent de récupérer des données brutes, sans la mise en page du html qu’on a avec le web scraping.

(Source : Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, tuto MATE-SHS, 24 mai 2018)

Quelques outils

  • Rapid API : site web qui tente de recenser toutes les API existantes et gratuitement accessibles.
  • Postman, logiciel gratuit pour formuler des requêtes à envoyer à une API et structurer les résultats de requête renvoyés par l’API.

Sources & ressources

  • Bermès (Emmanuelle), Le web sémantique en bibliothèque, Paris, Editions du Cercle de la Librairie, 2013, p. 35.
  • Site La Capsule.
    Lien
  • Geoffroy (Géraldine), Cours M2 Monde du monde du document, Université Cote d’Azur, 2021-2022.
  • Pedro (Kassandre), Schiller (Raye), Utilisez Postman pour formuler vos requêtes, Site OpenClassrooms, mis à jour le 31-03-2022.
    Lien
  • Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, tuto MATE-SHS, 24 mai 2018.
    Lien
  • Bertrand, C’est quoi une API REST ? S’initier aux API avec Postman, 23 mars 2020.
    Lien

CAHIER DE LABORATOIRE ELECTRONIQUE

Il s’agit d’un outil de planification de la recherche, de collecte des données, de traitement et d’analyse des données produites par le chercheur. Il permet d’enregistrer et de répertorier les données produites en vue de leur réutilisation.
Dans sa version numérique, le cahier de laboratoire facilite :

  • le partage d’information avec le rattachement de données brutes,
  • la recherche d’information et de données,
  • la datation grâce à l’horodatage,
  • le travail collaboratif

Il concerne essentiellement les disciplines qui produisent des données en laboratoires. A priori, on pense davantage à un usage pour les sciences techniques et médicales.

Sources & ressources

  • Groupe de travail Atelier Données, Guide de bonnes pratiques sur la gestion des données de la recherche, 8 décembre 2021.
    Lien
  • Groupe de travail sur les cahiers de laboratoires électroniques, Rapport, Septembre 2021.
    Lien

CARNET DE TERRAIN ELECTRONIQUE

Définition

Il peut intéresser les chercheurs de plusieurs disciplines qui collectent des données sur un terrain : sociologues, anthropologues, ethnologues, archéologues.
Le carnet de terrain électronique permet la prise de note, la prise de son, la photographie. Il améliore la qualité des données collectées, permet de les utiliser plus rapidement puisque le temps de ressaisie est annulé.
D’un point de vue technologique, plusieurs techniques existent pour mettre en oeuvre et développer des carnets de terrain :

  • utilisation d’une application nomade à télécharger
  • utilisation d’une application web
  • développement d’une application spécifique avec un langage de programmation
  • développement d’une application grâce à une boîte à outils de création de carnet de terrain
  • développement d’une application en adaptant des logiciels existants.

(Source : Atelier données, Guide de Bonnes Pratiques sur la gestion des données de la Recherche, 08 décembre 2021)

Outils

  • KoBotoolbox :
    Outils de collecte de données (mais aussi d’analyse et de gestion).
    Il peut être utilisé en ligne et hors ligne, sur des smartphone, tablette.
    Mais, pour les chercheurs, la capacité de stockage est limitée à 5 Go par mois.
    Outil originellement créé pour la collecte de données en contexte humanitaire.
  • ODK :
    Logiciel Open Source payant de collecte de données mobile. Il fonctionne hors ligne, il permet de créer des formulaire, et une fois les données collectées, il est possible de les analyser en téléchargeant les données ou en connectant des applications d’analyse comme R.
    Autre accès.
  • ODK Collect :
    Application Android de collecte de données à télécharger sur un smartphone.
  • GeoPoppy :
    Outil Open Source permettant la collecte et la consultation de données géolocalisées.

Sources & ressources

  • CNRS-Inist, LaLIST, La veille pour vos informations scientifiques, techniques et stratégiques, Carnet de terrain électronique, Outils nomades.
    Lien
  • Groupe de travail Atelier Données, Guide de bonnes pratiques sur la gestion des données de la recherche, 8 décembre 2021.
    Lien
  • Onésime, Wiki Carnet de terrain électronique. Site d’information pour faciliter la saisie d’observations terrain, en milieu naturel, mis à jour 3 juin 2020.
    Lien
  • Réseau bases de données, Atelier “Carnets de terrain électroniques”, CNRS, 13 avil 2018.
    Lien

ORGANISATION DES DONNÉES COLLECTÉES

LE NOMMAGE DES FICHIERS

Les règles de nommage

  • Un nom court et explicite qui reflète le contenu du fichier. Exemple : Règles_nommage.pdf.
  • Certains systèmes techniques autorisent un nombre limité de caractères.
    Au-delà, des problèmes d’accès, de troncage, de restauration peuvent survenir. Par exemple, Windows limite le chemin d’accès à 256 caractères (nom des dossiers + noms des sous-dossiers à parcourir pour accéder au fichier + nom du fichier).
  • Pour raccourcir le nom du fichier, supprimer les mots vides : “le”, “un”, “et”, “ou”, etc., et utiliser abréviation, acronyme, nom de projet.
  • Éviter les espaces et les séparateurs
    : deux-points
    / ou \ barre oblique
    car certains systèmes d’exploitation reconnaissent ces caractères comme des séparateurs de répertoire.
    Donc, remplacer par un tiret – ou un underscore _ ou des majuscules à chaque initiale
  • Éviter les signes de ponctuation, parenthèses, guillemets, crochets
    () {} <> [] |. , ; ! ? ” ‘ *
    car ces caractères sont souvent employés dans les langages de programmation et de script.
    Donc, privilégier les caractères alphanumériques uniquement.
  • Éviter les signes diacritiques :
    à â é è ê ë î ï ô ö ù û ü ç
  • Éviter les caractères spéciaux du type : $ £ ¥ @ © ™,
    car en cas de partage de fichiers, les signes diacritiques peuvent ne pas être reconnus par certains systèmes d’encodage comme l’ASCII. Avec les caractères spéciaux, il peut y avoir des problèmes en cas d’export du fichier dans un autre format.
    Donc, privilégier les caractères alphanumériques uniquement.
  • Date et numérotation. Privilégier la date au format AAAA_MM_JJ ou AAAAMMJJ qui permet de présenter les fichiers dans l’ordre chronologique si la date est indiquée au début du nom des fichiers.
    Pour numéroter les fichiers, utiliser le même nombre de chiffres : 01, 02,… 99 plutôt que 1, 2,… 99. Ainsi, ils s’affichent dans le bon ordre séquentiel.
  • Placer l’élément le plus important en premier.
    Pour les fichiers en cours d’élaboration indiquer la version dans le nom. V01, V02 ou encore VP pour version provisoire, VF pour version finale.
  • Créer un plan de nommage qui recense et explique les règles choisies. Ce plan peut contenir une liste des abréviations à utiliser. Cette liste peut aussi figurer dans un document à part.

Pourquoi ces règles ?

  • Pour faciliter la recherche des fichiers.
  • Pour garantir l’accessibilité des fichiers.
  • Pour faciliter le partage et le travail en équipe.
  • Pour éviter les problèmes techniques entre systèmes d’exploitation.
  • Pour assurer une bonne gestion en prévision de l’archivage.

Sources & ressources

  • Urfist Méditerrannée, Comment bien nommer ses fichiers ?, DoRANum, mis à jour le 12 octobre 2018.
    Lien
  • Archives départementales du Tarn, Règles de nommage des fichiers, 2017.
    Lien
  • Service informatique de HES-SO Fribourg, Règles de nommage des noms de fichiers ou de dossiers.
    Lien
  • Université de Lausanne, Règles de nommage des fichiers et dossiers, 2019. Ce document donne des noms de logiciels pour renommer des fichiers par lot.
    Lien

OÙ VONT LES DONNÉES COLLECTÉES : LE STOCKAGE

Cela peut dépendre de qui effectue la collecte et qui travaille sur le projet de recherche, si on travaille seul ou en équipe.
Selon les cas, le matériel de stockage peut être personnel : ordinateur, disque dur externe, clé USB, espace personnel sur le cloud.
Le matériel de stockage peut aussi être partagé et/ou collaboratif : serveur institutionnel, espace partagé sur le cloud, espace Huma-Num, ordinateur du laboratoire de recherche.
Le lieu de stockage peut dépendre de l’usage futur des données :

  • sauvegarde uniquement,
  • traitement et analyse
  • publication.

Le stockage des données dépendra également de la puissance du matériel informatique à disposition du chercheur. Parallèlement, il faut penser à anticiper le poids des fichiers de données de façon à choisir le lieu de stockage le plus adéquat. Un vieil ordinateur personnel dont la mémoire est presque pleine n’est peut-être pas l’endroit le plus indiqué pour stocker et sauvegarder ses données.

SAUVEGARDE 3-2-1

Penser à sauvegarder les données en plusieurs endroits.
La technique de la sauvegarde 3-2-1 préconise :

  • de faire 3 copies de ses données
  • de les sauvegarder sur 2 supports différents (ordinateur, clé USB, disque dur externe, cloud)
  • de mettre 1 copie à distance, à un autre endroit physique.

Sources & ressources

Les données de la recherche : définitions

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

OCDE : définition la plus courante

La définition de l’OCDE reprend en grande partie celle de l’Office of Management and Budget du gouvernement américain.
Selon l’ODCE

“les données de la recherche sont définies comme des enregistrements factuels (chiffres, textes, images et son), qui sont utilisés comme sources principales pour la recherche scientifique et sont généralement reconnus par la communauté scientifique comme nécessaires pour valider des résultats de recherche. Un ensemble de données de recherche constitue une représentation systématique et partielle du sujet faisant l’objet de la recherche.
Ce terme ne s’applique pas aux éléments suivants : carnets de laboratoire, analyses préliminaires et projets de documents scientifiques, programmes de travaux futurs, examens par les pairs, communications personnelles avec des collègues et objets matériels (par exemple, les échantillons de laboratoire, les souches bactériennes et les animaux de laboratoires tels que les souris). L’accès à tous ces produits ou résultats de la recherche est régi par d’autres considérations que celles abordées ici.”

Analyses et critiques de la définition de l’OCDE

La définition de l’OCDE, enrichit le concept de donnée comme matériel brut sur quatre points :

  • L’enregistrement est un préalable qui agit comme équivalent de la fixation matérielle d’une idée sur un support comme préalable de la reconnaissance et de la protection d’une oeuvre de l’esprit.
  • La nature factuelle, malgré la grande diversité des données, peut être supposée.
  • Le lien avec la communauté scientifique : une donnée est ce qui est acceptée par un groupe de chercheur comme telle.
  • La finalité : les données ont une fonction dans le processus scientifique, notamment pour la validation des hypothèses et des résultats.

(Source : J. Schöpfel, E. Kergosien, H. Prost, 2017)

L’ensemble des documents ou enregistrements produits par les chercheurs ne sont pas des données de la recherche puisque les données de types gestionnaires et managériales sont écartées de la définition de l’OCDE. L’approche archivistique n’est pas retenue dans cette définition.
Les données peuvent être produites en dehors du processus de recherche.
La définition de l’OCDE ne clôt pas la question de la nature et du périmètre des données, très dépendants du cadre disciplinaire.
Deux tendances caractérisent les données de la recherche : elles sont de plus en plus numériques/numérisées et de plus en plus massives.

(Source : Thierry Fournier, 2014)

Définition de la donnée par rapport au fait

“Quand on prouve qu’un fait est faux, il cesse d’être un fait. Une donnée fausse, en revanche, n’en demeure pas moins une donnée.”

(Source : Daniel Rosenberg, 2013, cité et traduit par. V. Rebouillat, 2019)

Pour Simon Chignard,

une donnée est “un fait brut, qui n’est pas – encore – interprété.”

(Source : Simon Chignard, 2012)

Définitions de la donnée par rapport à l’information et à la connaissance

La définition d’un informaticien :

“Une donnée est une description élémentaire, typiquement numérique pour nous, d’une réalité. C’est par exemple une observation ou une mesure.
À partir de données collectées, de l’information est obtenue en organisant ces donnée, en les structurant pour en dégager du sens.
En comprenant le sens de l’information, nous aboutissons à des connaissances, c’est-à-dire à des “faits” considérés comme vrais dans l’univers du locuteur, et à des “lois” (des règles logiques) de cet univers”.
Exemple développé :

“Des mesures de température relevés chaque jour dans une station météo, ce sont des données. Une courbe donnant l’évolution dans le temps de la température moyenne dans un lieu, c’est une information. Le fait que la température sur la terre augmente en fonction de l’activité humaine, c’est une connaissance.”

(Source : Serge Abiteboul, 2012)

La définition d’un philosophe :

“J’ai sur mon bureau un livre consacré aux habitudes de voyage des gens de Stockholm, que je n’ai pas encore lu – autrement dit, j’ai accès à de l’information sur la question, mais non à du savoir ; si je lis cet ouvrage, cette information aboutira probablement à du savoir, mais cette transformation de l’information en savoir ne se produira que si je comprends ladite information de manière à l’assimiler en l’intégrant à mon système de croyances : si j’en apprends le texte par coeur, sans le comprendre, je possède de l’information, mais pas de savoir sur la question.
Les données diffèrent de l’information en ce qu’elles n’ont pas à se présenter sous une forme qui se prête à l’assimilation. Si au lieu de l’ouvrage en question, j’avais sur mon bureau les dix mille questionnaires sur lesquels il repose, j’aurais des données au lieu d’information. En résumé, il faut que les données soient assimilables pour pouvoir constituer de l’information et qu’elles soient assimilées pour pouvoir constituer du savoir.”

(Source : Sven Ove Hansson, 2002)

La définition d’un spécialiste des sciences de l’information :

L’information peut être un processus, l’action d’informer, de communiquer.
L’information en tant que connaissance correspond au contenu de ce qui est communiqué. Elle est intangible et nécessite une représentation physique pour être communiquée.
Cette représentation c’est la donnée. La donnée c’est aussi l’information “as thing”, en tant que chose.
La donnée est informative. Mais, elle est informative selon la question que se pose celui qui l’observe et son degré d’expertise. Donc la donnée est une preuve situationnelle ou circonstantielle.

(Source : Michael K. Buckland, 1991 dans V. Rebouillat, 2019)

Définition de la donnée en fonction du processus de recherche

Il n’existe pas de donnée en soi.
C’est le chercheur qui détermine ce qu’est une donnée à partir du moment où il envisage une entité comme pouvant être utilisée en tant que preuve dans un développement scientifique.

“La représentation d’une observation, d’un objet ou de tout autre entité devient une donnée de recherche dès lors qu’elle est utilisée comme preuve d’un phénomène, à des fins scientifiques”.

(Source : Christine L. Borgman (2015) dans V. Rebouillat (2019))

Les données sont portables, elles sont communicables. Cette portabilité est nécessaire à leur caractérisation comme preuve.

(Source : Sabina Leonellli, 2015, dans V. Rebouillat, 2019)

Sources & ressources

  • Abiteboul (Serge), Sciences des données : de la logique du premier ordre à la Toile : leçon inaugurale prononcée le jeudi 8 mars 2012, Paris, Collègue de France, 2012.
    Lien
  • André (Francis), “Déluge des données de la recherche ? Petit manuel d’immersion. Curation, infrastructures et partage”, dans Calderan (Lisette), Laurent (Pascale), Lowinger (Hélène) et al. (sous la dir.), Big Data. Nouvelles partitions de l’information. Actes du séminaire IST Inria, octobre 2014, Louvain-la-Neuve, De Boeck Supérieur, “Information et stratégie”, 2014, pp. 77-95.
    Lien
  • Borgman (Christine L.), Big Data, Little Data, no Data: Scholarship in the networked World, Cambridge MA, The MIT Press, 2015, p. 28.
  • Buckland (Michael K.), “Information as thing”, dans Journal of the American Society for Information Science, 42 (5), 1991, pp. 351-360.
    [Lien : https://doi.org/10.1002/(SICI)1097-4571(199106)42:5<351::AID-ASI5>3.0.CO;2-3)]
  • Chignard (Simon), Open Data : comprendre l’ouverture des données publiques, Limoges, FYP éditions, 2012.
  • Fournier (Thierry), “Les données de la recherche : définition et enjeux”, dans Arabesques, 73, 2014.
    Lien
  • Hansson (Sven Ove), “Les incertitudes de la société du savoir”, dans Revue internationale des sciences sociales, 171 (1), 2002, pp. 43-51.
    Lien
  • Leonelli (Sabina), “What counts as Scientific Data? A Relational Framework”, dans Philosophy of Science, 82 (5), 2015, pp. 810-821.
  • OCDE, Principes et lignes directrices pour l’accès aux données de la recherche financées sur fonds publics, Paris, éd. de l’OCDE, 2007, p. 18.
    Lien
  • Rebouillat (Violaine), Ouverture des données de la recherche : de la vision politique aux pratiques des chercheurs. Sciences de l’information et de la communication, Conservatoire national des Arts et Métiers – CNAM, 2019.
    Lien
  • Rosenberg (Daniel), “Data before the Fact”, dans Gitelman (Lisa), Raw Data is an Oxymoron, Cambridge, MIT Press, 2013, pp. 15-40.
    Lien
  • Schöpfel (Joachim), Kergosien (Eric), Prost (Hélène), “Pour commencer, pourriez-vous définir ‘données de la recherche’ ?” Une tentative de réponse. Atelier VADOR : Valorisation et Analyse des Données de la Recherche, INFORSID 2017, Toulouse, mai 2017. Lien

Les données de la recherche : typologies

Typologies en fonction de la méthode d’obtention des données

  • Les données d’observation : créées à l’initiative d’un chercheur ou d’une équipe de recherche de façon spécifique dans le cadre d’un projet de recherche, ou obtenues de façon routinière par des instruments automatiques ; la donnée est capturée en temps réel, et à ce titre non reproductible : la mesure de la salinité d’un océan en un lieu précis, une image de la voie lactée, une mesure sismique… ;
  • les données d’expérimentation : créées en laboratoires dans des contextes contrôlés, et donc le plus souvent reproductibles : séquences génétiques, chromatogrammes, analyses chimiques… ;
  • Les données de simulation : générées par des modèles informatiques, elles peuvent utiliser des données d’observation comme base de travail, en produisant des résultats décrivant des projections dans le futur de processus complexes. Les données produites sont indissociables des modèles informatiques : la modélisation du climat, ou de l’économie, ou des écoulements d’air autour d’une aile d’avion… ;
  • les données dérivées : résultent d’un traitement, d’une sélection, d’une compilation ou d’une agrégation de données brutes préalablement acquises par observation, expérimentation ou simulation, et sélectionnées pour constituer des ensembles d’informations ayant leurs caractéristiques propres : données moyennes de températures, statistiques de populations… ; les données issues de processus de text et data mining sur des corpus créés à cette intention entrent dans cette catégorie ;
  • les données de référence : données ayant été en général préalablement publiées qui sont collectées triées et agrégées, servant d’éléments canoniques : les données décrivant les objets stellaires compilées dans les publications astronomiques, les bases de données de séquences génétiques, les archives photographiques, corpus textuels de référence…

(Source : Francis André, 2015)

  • L’approche herméneutique et textuelle : qui concerne en particulier des disciplines comme le droit, l’histoire et la philosophie. Ces disciplines manipulent essentiellement des textes (juridiques, historiques ou philosophiques), qu’elles analysent et interprètent. Ces textes ne sont d’ailleurs pas appelés « données » par les chercheurs, mais plutôt « matériaux ».
  • L’approche expérimentale et de terrain, caractéristique de disciplines telles que l’archéologie, l’économie, la géographie, la linguistique, la psychologie ou la sociologie. Ces disciplines sont souvent productrices de données, qu’elles collectent sur le terrain ou à partir de tests.

(Source : Francisca Cabrera dans Violaine Rebouillat (2019))

Données primaires : données collectées par la personne qui effectue la recherche.
Données secondaires : données collectées par une personne différente de l’utilisateur.

(Source : Urfist Rennes, 2020)

Typologie en fonction du cycle de vie des données

  • Données sources (utilisées par les chercheurs pour leur recherche) : observations, expériences, simulations, images, enquêtes et interviews, statistiques et données de références, fichiers logs et données d’utilisation, documents textuels
  • Données résultats (données produites comme résultat de recherche) : images, visualisations et modèles multidimensionnels, enregistrements sonores, enregistrements vidéo, textes, tableurs, bases de données, logiciels et applications, des données spécifiques par domaine ou instruments / équipements.

(Source : Simukovic & al., 2014 dans H. Prost, J. Schöpfel, 2015)

En SHS, on peut distinguer :

  • Les données utilisées :
  • Des documents relevant des archives ;
  • Des documents issus de la production scientifique, publiés ou non (articles de revue, ouvrages, littérature grise) ;
  • Des sources matérielles ou primaires (objets, tweets, corpus de textes) ;
  • Des données de référencement (de type bibliographies) ;
  • Des données statistiques issues de l’administration publique.
  • Les données produites :
  • Les données générées par un travail de terrain (données d’entretiens, données issues de démarches expérimentales comme en psychologie) ;
  • Les données nées d’un travail de transformation sur les données brutes de départ (numérisation d’archives, structuration de données en base de données, modélisation de données web sous forme de graphes…).

(Source : Francisca Cabrera dans V. Rebouillat, 2019)

  • Les données préliminaires ou données préparatoires : exclues dans un contexte de diffusion
  • Les données brutes : données acquises lors du processus de recherche et déjà potentiellement traitées ;
  • Les données traitées et analysées : données ayant subi une transformation telle qu’il n’est plus possible d’accéder aux données brutes (ex. : graphique)

(Source : Marielou Pain, 2016)

  • Données brutes : données recueillies qui n’ont pas encore été organisées, mises en formes ou analysées.
  • Données traitées : données produites après calibration/étalonnage ou correction des données brutes.
  • Données dérivées : présentent un résumé ou une représentation/vue spécifique des données (agrégation, compilation, calcul, réorganisation).
  • Données analysées, interprétées : données publiées.

(Source : Urfist PSL, 2021)

Typologie en fonction du statut juridique des données

Les trois statuts juridiques des données :

  • Données communicables
  • Données communicables sous conditions
  • Données non communicables

Dans le détail :

  • Données communicables – communication obligatoire :
  • Données géographiques
  • Données environnementales relatives à des émissions de substances dans l’environnement
  • Données communicables sous conditions :
    -Données protégées par le droit d’auteur et autres droits de la propriété intellectuelle
    -Données présentant des risques pour la protection du potentiel scientifique et technique de la nation
  • Données relatives aux personnes, à la vie privée
  • Données statistiques
  • Données liées à un contrat avec un tiers non soumis à une obligation de service public
    Cas des zones à régimes restrictif (ZRR)
  • Données non communicables par principe :
  • Données présentant des risques pour la protection du secret et de la défense nationale
  • Données présentant des risques pour la sécurité publique de l’État ou pour la sécurité de l’établissement
  • Données relatives au secret professionnel

(Source : Doranum, La communicabilité des données de la recherche, 2018 ; Ouverture des données de la recherche. Guide d’analyse du cadre juridique en France, 2017))

Typologies en fonction de la nature des données

Ces typologies existent et sont très diverses. (Doranum, CatOpidor, Re3Data)

“données archivées, données audiovisuelles, données de configuration, bases de données, images, données de réseau, plein texte, données brutes, formats de données scientifiques et statistiques, logiciels, code source, documents administratifs, texte structuré, et autres.”

(Source : Re3data)

Elles dépendent souvent du cadre disciplinaire ou épistémologique de la recherche.

“Les données en sociologie (enquêtes, séries statistiques…) sont très différentes des données en archéologie (rapports de fouilles…) ou en linguistique (corpus de textes…).”

(Source : Thierry Fournier, 2014)

Mais beaucoup de ces catégories sont également transdisciplinaires.

(Source : Schöpfel & al., 2015)

Sources & ressources

Typologies en fonction des méthodes d’obtention des données :

  • Francis André, « Chapitre 5. Déluge des données de la recherche ? Petit manuel d’immersion. Curation, infrastructures et partage », dans Big Data. Nouvelles partitions de l’information. Actes du séminaire IST Inria, octobre 2014, sous la direction de Lisette Calderan, Pascale Laurent, Hélène Lowinger et al. Louvain-la-Neuve, De Boeck Supérieur, « Information et stratégie », 2014, p. 77-95.
    Lien, DOI : 10.3917/dbu.caan.2014.02.0077.
  • Violaine Rebouillat, Ouverture des données de la recherche : de la vision politique aux pratiques des chercheurs. Sciences de l’information et de la communication. Conservatoire national des arts et metiers – CNAM, 2019. Français. Lien
  • Urfist Rennes, 2020. Lien

Typologies en fonction du cycle de vie des données :

  • Hélène Prost, Joachim Schöpfel, Les données de la recherche en SHS. Une enquête à l’Université de Lille 3. : Rapport final. [Rapport de recherche] Lille 3, 2015.
    Lien
  • Marielou Pain. Les données de la recherche et leurs entrepôts, de la documentation à la réutilisation : étude de cas pour l’archive HAL, 2016. Lien
  • Urfist PSL, 2021. Lien

Typologies en fonction du statut juridique des données :

  • Nicolas Becard, Céline Castets-Renard, Gauthier Chassang, Martin Dantant, Laurence Freyt-Caffin, et al., Ouverture des données de la recherche. Guide d’analyse du cadre juridique en France, [Rapport de recherche] Comité pour la science ouverte. 2017, pp. 28-29.
    Lien
  • Doranum, La Communicabilité des données de la recherche. Lien

Typologie en fonction de la nature des données :

  • CatOpidor
  • Doranum
  • Thierry Fournier, « Les données de la recherche : définition et enjeux », Arabesques, 73, 2014, mis en ligne le 22 août 2019, consulté le 11 mai 2022. Lien
  • Joachim Schöpfel, Eric Kergosien et Hélène Prost, “Pour commencer, pourriez-vous définir
    ‘données de la recherche’ ?” Une tentative de réponse. Atelier VADOR, Valorisation et Analyse des Données de la recherche ; INFORSID 2017, Mai 2017, Toulouse, France.
    Lien

[Retour d’expérience] Transcrire avec Transkribus – Premiers pas

Transkribus est une plate-forme complète pour la numérisation, la reconnaissance de textes basée sur l’IA, la transcription et la recherche de documents historiques https://readcoop.eu/transkribus/download/.

Usage de Transkribus eXpert  pour la transcription automatisée de textes imprimés, à partir d’un document PDF.

Exemple de transcription automatisée sur Transkribus à partir d’un document PDF – Trésor des bons esprits français [1602], section « Meslanges »

  • Mais… comment faire de la transcription automatisée sur Transkribus ? Première étape

Il faut tout d’abord téléverser le document que l’on veut transcrire. Allez donc sur « Extract and upload images from PDF » et cliquez sur « Upload ».

Téléverser un document PDF sur Transkribus (1)

Afin de bien téléverser le document, il est nécessaire de rafraîchir la page.

Téléverser un document PDF sur Transkribus (2)

Pour commencer à transcrire votre fichier sur Transkribus, il faut sélectionner les pages du document que vous souhaitez transcrire automatiquement et activer le processus de segmentation des pages concernées. Allez donc sur « Tools », sélectionnez « Find Text Regions », cliquez sur le premier « Run » et choisissez « oui » dans « Layout Recognition ».

Traitement d’un document PDF pour la transcription automatisée

Il faut finalement choisir le modèle pour obtenir la transcription automatisée du texte. Allez sur le deuxième « Run » et sélectionnez votre modèle.       

Choisir le modèle pour la transcription automatisée du texte

  • Exporter le document transcrit – Deuxième étape

Après avoir complété le processus de transcription automatisée, il est possible d’exporter le document en plusieurs formats. Dans ce cas, nous avons opté pour un format XML.

Exporter le document transcrit dans le format de sortie XML – Trésor des bons esprits français [1602], section « Meslanges »

  • Premières interventions sur le fichier généré par Transkribus – Troisième étape

Au niveau du texte, l’opération de transcription automatisée comporte un travail de correction manuelle. Ce type de travail permet également d’identifier les coquilles typographiques et les erreurs récurrentes générées, dans ce cas, par l’outil Transkribus.

Correction manuelle des coquilles typographiques – Trésor des bons esprits français [1602], section « Meslanges »

Erreurs récurrentes identifiées sur la base du corpus Trésor des bons esprits français [1602], section « Meslanges »

  • Interventions successives sur le texte généré par Transkribus – initiation à l’encodage – Quatrième étape

A ce stade, il est important de réfléchir également à la mise en place du texte généré par Transkribus. Quelles modifications peut-on apporter au document transcrit? Nous vous en proposons un exemple, à partir du travail mené sur un corpus-test du XVIIe siècle.

Réfléchir à l’encodage pour la mise en place du texte – Trésor des bons esprits français [1602], section « Meslanges »

Encodage pour la mise en place du texte – Trésor des bons esprits français [1602], section « Meslanges »

  • Balisage pour la régularisation du texte – Cinquième étape

Suite au travail de correction manuelle de la transcription et de réflexion à la structuration du texte à la faveur d’un premier encodage, nous nous sommes intéressée au processus de régularisation. Le passage de la transcription automatisée à la régularisation demande de longues réflexions, ainsi que l’établissement d’un protocole de balisage précis.

Régularisation de la transcription – Trésor des bons esprits français [1602], section « Meslanges »

Bilan Transkribus

Est-il difficile de faire de la transcription automatisée sur Transkribus ?

Non, il faut tout simplement suivre les étapes que nous avons montrées plus haut. De plus, le travail de transcription automatisée sur Transkribus ne prend pas beaucoup de temps : le processus de transcription ne demande en effet que quelques minutes.

L’outil Transkribus assure-t-il une bonne qualité de transcription automatisée des textes ?

En général, Transkribus permet d’obtenir une transcription fidèle au texte original. Néanmoins, des erreurs typographiques ou d’espace ont été repérées au fur et à mesure. Les cas les plus évidents concernent les « s longs » totalement remplacés par un « s » rond, le « e » transcrit, à maintes reprises, de manière différente, le tilde et la cédille qui ne sont pas reproduits. En revanche, les apostrophes et l’esperluette sont maintenus, ainsi que la différence entre majuscule et minuscule. 

Quel est le temps estimé pour corriger manuellement la transcription automatisée réalisée avec Transkribus ?   

Étant donné que la transcription automatisée présente des coquilles typographiques rares ou bien des erreurs plutôt récurrentes, le travail de relecture a demandé, dans notre cas, des temps de réalisation différents (10 – 25 minutes par fichier).

paresseux dans un arbre

Réutiliser les données : un droit à la paresse ?

À l’occasion de la quatrième journée des Journées EVEille 2022 consacrées aux principes FAIR, j’ai souhaité explorer quelques pistes de réflexions sur la réutilisation des données, en adoptant sans surprise le point de vue un peu particulier d’une chercheuse en lettres1.

Arrêtons-nous d’abord sur le mot en lui-même.

Réutiliser des données, cela n’aura échappé à personne, implique une action *a minima* en deux temps : utiliser d’abord, puis utiliser encore. Le verbe se focalise sur ce second temps, cette suite donnée à une action précédemment exécutée, qui doit être préparée en amont. Réutiliser implique donc un double usage. Pour cette raison, la réutilisation peut s’avérer vertueuse ; vertueuse au sens économique d’« enchaînement de mécanismes dont le cumul entraîne l’amélioration d’une situation ». Pour les plus optimistes d’entre nous, ou les plus mercantilistes, la fructification est aussi le signe d’un gain potentiel d’énergie : « Ce qui est fait n’est plus à faire », dit l’adage. Certes. Mais ce qui est fait peut quand même être refait, voire re-refait, selon un mouvement itératif infini. Le faire peut être répété, reproduit, amélioré même. « Vingt fois sur le métier remettez votre ouvrage », préconise un autre proverbe.

Continuer la lecture
  1. Voir l’enregistrement de cette introduction sur la chaîne UHA pod des journées EVEille. []