Archives de catégorie : Fondamentaux

Les lieux de collecte des données

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

POURQUOI COLLECTER DES DONNÉES ? QUESTIONNEMENT INTRODUCTIF

De manière générale et comme le disent les définitions du concept de données de la recherche, celles-ci sont nécessaires pour répondre à la problématique de recherche et pour valider le discours scientifique.
Ce discours peut prendre plusieurs formes :

  • un mémoire de recherche
  • une thèse
  • un article scientifique
  • une conférence, un colloque
  • un cours

Ces formes de discours ne s’excluent pas les unes les autres et un même lot de données peut être utilisé pour rédiger une thèse à partir de laquelle sera monté un cours ou encore préparé une intervention à un colloque.
Dans le cadre d’un projet de recherche, on peut collecter des données pour :

  • établir un état de l’art. Dans ce cas, on pense en premier lieu à une collecte de données bibliographiques
  • constituer un corpus de données à partir duquel effectuer l’analyse du sujet de recherche.

Dans ce cadre, les données du corpus peuvent être de plusieurs natures :

  • écrites
    • manuscrites
    • imprimées
    • numérisées
    • numériques
  • iconographiques
    • manuscrites
    • imprimées
    • analogiques
    • numérisées
    • numériques
  • orales et vidéo
    • produites par le chercheurs : enregistrements analogiques ou numériques
    • collectées autrement dit, déjà constituées par d’autres chercheurs,
      institutions, infrastructures : enregistrements analogiques ou numériques.

LIEUX DE COLLECTE

QUESTIONNEMENT INTRODUCTIF

Les lieux de collecte de données dépendent du type de données que le chercheur souhaite obtenir.

On peut distinguer les données non numériques des données numériques.

Où trouver des données non numériques

Au sein des données non numériques, il existe entre autres :

  • les livres, périodiques papiers collectés dans des bibliothèques et les centres de documentation des laboratoires de recherche,
  • les archives papiers collectées dans les centres d’archives,
  • les objets archéologiques collectés sur les chantiers de fouilles,
  • les entretiens, enquêtes, sondages, observations collectés sur des terrains, eux-mêmes définis selon la discipline et le sujet de recherche (panel de population, zone géographique, etc.)

Même si ces données sont non numériques, elles peuvent être trouvées et collectées, grâce à des outils numériques (quand ils existent) comme les catalogues de bibliothèque ou les inventaires d’archives.
Ces données sont créées par le chercheur ou organisées pour la recherche et la collecte.
Ces données peuvent être numérisées. On passe alors à une phase de traitement de données.

Où trouver des données numériques ?

Elles peuvent être collectées sur le web.
Dans ce cas, on distingue les lieux/sites non dédiés à la recherche d’informations et les lieux/sites dédiés à la recherche d’informations.

[voir ci-après méthodes de collecte> web scraping]

Les lieux non dédiés à la recherche

Ce sont des lieux qui ne sont pas conçus pour la recherche a priori. Ainsi, les données qu’ils fournissent ne sont pas toujours faciles à collecter, notamment parce qu’elles ne sont pas forcément structurées ni indexées.
Exemple de lieux non dédiés à la recherche : les sites du web 2.0 (ou web participatif) comme les forums ou les réseaux sociaux.

Les lieux dédiés à la recherche d’informations

Ils sont conçus pour faciliter la recherche et la collecte des données. Ils fournissent des métadonnées et des éléments d’indexation.
Exemple de lieux dédiés à la recherche :

  • les bases de données spécialisées,
  • les entrepôts de données,
  • les annuaires d’entrepôts,
  • les catalogues de données,
  • les bibliothèques numériques,
  • les archives numériques.

BASE DE DONNÉES

Définition

Il s’agit d’un conteneur stockant une collection d’informations ou de données structurées, semi-structurées ou brutes.
Une base de données sert à stocker, organiser, localiser, analyser et mettre à jour facilement et rapidement des données.
Les bases de données peuvent être classées en deux typologies :

  • Une typologie des bases de données selon le contenu : bibliographique, texte, image, nombre, audio, vidéo.
  • Une typologie selon l’approche organisationnelle de la base de données : hiérarchique, réseau, relationnelle ou SQL, NoSQL, distribuée, cloud, orientée texte, orientée objet, orientée graph.

LOADB : Listing of Open Database

LOADB recense les bases de données en libre accès et offre un portail d’accès unique à ces bases de données. Il est pour le moment orienté sciences technologiques et médicales mais entend inclure à terme tous les champs disciplinaires. On y trouve déjà des bases de données spécialisées en géographie et en archéologie.
[pour plus d’info, voir fichier “Traitements et analyses”].

Sources & ressources

  • Bastien L., “Base de données : qu’est-ce que c’est ? Définition et présentation”, dans Le Big Data, 24 janvier 2019.
    Lien
  • Site Oracle, Qu’est-ce qu’une base de données ?.
    Lien
  • Wikipédia, Base de données, mis à jour le 12 mai 2022.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Modèles et langages, mars 2022. Licence CC BY-NC-SA.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Aspects systèmes, Septembre 2020. Licence CC BY-NC-SA.
    Lien
  • L’informatique c’est fantastique, Cours sur les bases de données, Lycée Blaise Pascal, Clermont-Ferrand, mis à jour le 30 octobre 2020.
    Lien
    LOADB
  • Marcoux (Yves), Scénario type de création d’une base de données documentaire, Université de Montréal, EBSI, 2000.
    Lien
  • Site de l’ENSSIB, base de données/banque de données, 17 mars 2017.
    Lien

BANQUE DE DONNÉES

La différence entre base de données et banque de données fait débat. L’ENSSIB propose la distinction suivante :

“la base de données décrit la structure informatique, le contenant, tandis que la banque de données représente le contenu de la base, c’est à dire un ensemble de données relatif à un domaine de connaissance.”

Toutefois, elle cite également les deux définitions extraites du Vocabulaire de la doc (proposé par l’association des professionnels de l’information et de la documentation) :

Banque de données : “Ensemble de données relatif à un domaine défini des connaissances, généralement organisé et structuré en base de données pour être offert aux utilisateurs (JO). On distingue les banques de données bibliographiques (références de documents primaires, avec ou sans résumé), les banques de données iconographiques (images fixes ou animées ; à ne pas confondre avec le mode image), les banques de données textuelles (texte intégral complet ou partiel de documents primaires) ou de type GED (document complet au format original), les banques de données numériques (données chiffrées, plus ou moins structurées) et multimédias (1) (documents comprenant des textes, des images et des sons).”
Base de données :
“Ensemble de données structuré, généralement en champs, organisé en vue de son utilisation par des programmes correspondant à des applications distinctes (JO) (gestion, recherche, tri, cartographie, etc.). Ce regroupement structuré de données, géré par un système de gestion de base de données (SGBD), se réalise de manière à faciliter l’évolution indépendante des données et des programmes.”

(Source : Site de l’Enssib)

Sources & ressources

  • Bastien L., “Base de données : qu’est-ce que c’est ? Définition et présentation”, dans Le Big Data, 24 janvier 2019.
    Lien
  • Site Oracle, Qu’est-ce qu’une base de données ?.
    Lien
  • Wikipédia, Base de données, mis à jour le 12 mai 2022.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Modèles et langages, mars 2022. Licence CC BY-NC-SA.
    Lien
  • Rigaux (Philippe), Cours de bases de données – Aspects systèmes, Septembre 2020. Licence CC BY-NC-SA.
    Lien
  • L’informatique c’est fantastique, Cours sur les bases de données, Lycée Blaise Pascal, Clermont-Ferrand, mis à jour le 30 octobre 2020.
    Lien
  • Marcoux (Yves), Scénario type de création d’une base de données documentaire, Université de Montréal, EBSI, 2000.
    Lien
  • Site de l’ENSSIB, base de données/banque de données, 17 mars 2017.
    Lien

ENTREPÔT DE DONNÉES

Base de données en ligne permettant le dépôt, la recherche, la collecte, la description, la conservation et la diffusion des jeux de données. Une fois déposés, les jeux se voient attribuer un DOI et, très souvent, une licence de réutilisation. Les jeux de données sont accessibles sur l’entrepôt, et peuvent être réutilisés, éventuellement après une période d’embargo.
Les entrepôts sont de plusieurs types :

  • généralistes et multidisciplinaires : Archive.org, Nakala, MediHAL, Zenodo.
  • disciplinaires : bibliothèques virtuelles humanistes, Ortolang, CNRTL, CocoOn, ArkeoGIS, Geoportail (IGN), Archipolis pour les sciences politiques.
  • liés à une institution : Data.gouv, DataBNF, Hal.

[Pour plus de détails sur les fonctionnalités des entrepôts de données, voir le fichier “Pérennisation”]

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

ANNUAIRE D’ENTREPÔTS

Ils peuvent être multidisciplinaires :

  • Re3data.org : possibilité de chercher des entrepôts par disciplines, par types de données, par pays.
  • OAD : Open Access Directory. Liste des entrepôts et des bases de données d’open data.
  • CatOpidor

Ils peuvent être disciplinaires :

  • Biosharing (STM)

Ils peuvent être mixtes c’est-à-dire constituer à la fois une archive ouverte et un entrepôt :

  • ROAR : annuaire qui répertorie les entrepôts en libre accès ou les archives ouvertes. Recherche possible par nom, région du monde, pays, logiciel, type de contenu, disciplines.
  • OpenDOAR : annuaire recensant à l’échelle internationale les entrepôts de données en libre accès et les archives ouvertes. Recherche possible par nom, région du monde, pays, logiciel, type de contenu, disciplines.
  • FAIRsharing : annuaires d’entrepôts de données et de bases de données de connaissances respectant les principes FAIR.

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

CATALOGUE DE DONNÉES

Ce sont des méta-moteurs cherchant dans plusieurs entrepôts.
On peut citer :

  • openAIRE : structure européenne créée en 2010 dédiée au développement du libre accès en Europe. Elle est à l’origine de l’entrepôt Zonodo.
  • Réseau Quetelet.
  • Humanities Data : Structure cherchant à favoriser la collecte et la diffusion d’informations sur les données publiques particulièrement dignes d’intérêt pour les humanités numériques.
  • B2FIND, le catalogue d’EUDAT (infrastructure européenne de services et ressources multidisciplinaires dédiés aux données de la recherche).
  • DataCite Search : 2680 entrepôts moissonnés, donne accès à des jeux de données mais aussi à des data papers, des articles de revues.
  • Dataset Search : le catalogue de données de Google.
  • CESSDA Data Catalog : catalogue de données du Consortium des archives de données européennes en sciences sociales. Recherche par sujet, année, pays, éditeur.
  • Opendatasoft : plateforme de recherche, de dépôt et de publication de jeux de données produits par les administrations publiques.
    Autre accès.

Sources & ressources

  • URFIST Méditerranée, Rechercher des données, DoRANum, mis à jour le 28 mai 2018.
    Lien
  • URFIST Méditerranée, Dépôt et entrepôts, DoRANum, mis à jour le 16 août 2021.
    Lien
  • Dardenne (Nadine), DARIAH : une infrastructure numérique au service des sciences humaines et sociales, billet du blog d’Huma-Num et de ses consortiums, mis à jour le 14 février 2014.
    Lien
  • Laube (C.), “Entrepôts” de données en SHS, présenté lors de l’Atelier des Humanités Numériques de l’ENS Lyon du 20 mars 2018.
    Lien
  • Réseau ISORE, Carte mentale “Quels outils et services pour la pérennisation des données SHS ?” décembre 2017. Licence CC-BY.
    Lien
  • Aventurier (Pascal), Cocaud (Sylvie), Les entrepôts de données de recherche, Action Nationale de Formation RENATIS, 3/6-07-2017. Licence CC-BY.
    Lien

PUD

“Les plateformes universitaires de données (PUD) visent à stimuler l’utilisation des données mises à disposition par PROGEDO. Centrées sur le développement des compétences, les PUD prolongent l’action de PROGEDO au niveau régional et apportent un soutien direct aux utilisateurs de données d’enquêtes par :
l’aide à la recherche, à l’acquisition et à la mise en œuvre des fichiers de données,
la formation à la compréhension, à l’utilisation et au traitement de ces données,
la formation à l’utilisation d’outils informatiques et statistiques.”

(Source : Site de PROGEDO, page dédiée au PUD.
Lien)

RÉSEAU QUETELET

Historique

La diffusion de données est progressive depuis les années 1980. D’abord, des chercheurs du laboratoire Lasmas ont demandé d’accéder à certaines données.
Puis dans les années 1990, la diffusion des données (INSEE) s’est étendue au sein du CNRS.
Dans les années 2000, la diffusion s’est généralisée via le réseau Quetelet et elle s’est étendue aux services statistiques ministériels et aux autres producteurs public avec un accès disponible pour l’ensemble de la communauté scientifiques (universités, EPST, etc.).
En 2012 est créé PROGEDO avec pour objectif de développer la culture des données et d’assurer la coordination du réseau Quetelet.

Précisions sur les types de fichiers disponibles

Trois niveaux de fichiers :

  • Les données confidentielles non anonymisées, variables très détaillées. Elles ne sont pas diffusées en l’état et sont accessibles via des accès sécurisés et contrôlés. De ce fait, elles ne permettent pas forcément des travaux de recherche très évolués.
  • Les données FPR (Fichiers Productions et Recherche) ou Scientific Use Files : elles sont pseudonymisées, ont des variables détaillées, créées par le producteur à destination de la communauté scientifique.
  • Les données standards : publiques, anonymisées, variables agrégées. Diffusées en Open data via ou sur les sites des producteurs comme insee.fr, data.gouv.fr.

Les trois diffuseurs de données du réseau de diffusion QUETELET et leur catalogue :

  • ADISP : Archives de Données Issues de la Statistique Publique
  • INED : Institut National d’Études Démographiques, service des enquêtes
  • CDSP : Centre de Données Socio-Politiques

Le catalogue de l’ADISP.
Il diffuse des données d’enquêtes ponctuelles ou régulières et des données de diverses natures (recensement, panel, localisées, récentes, historiques, etc.)
Il diffuse les données des producteurs suivants :

  • l’INSEE
  • les services statistiques des ministères :
  • DARES : Direction de l’Animation de la Recherche, des Études et des Statistiques –
    Ministère du Travail
  • DEPP : Direction de l’Évaluation, de la Prospective et de la Performance – Ministère
    de l’Éducation
  • DEPS : Département des Études de la Prospective et des Statistiques – Ministère de la
    Culture
  • DGFIP : Direction Générale des Finances Publiques – Ministère des Finances
  • DREES : Direction de la Recherche, des Études, de l’Évaluation et des Statistiques –
    Ministère de la Santé
  • DSED : Département des Statistiques, des Études et de la Documentation – Ministère de
    l’Intérieur
  • MEDES : Mission enquêtes, données et études statistiques – INJEP, Ministère des Sports
  • SIES : Systèmes d’Information et des Études Statistiques – Ministère de l’Enseignement
    Supérieur
  • SDES : Service de l’Observation et des Statistiques – Ministère des Transports
  • d’autres institutions publiques :
  • CEPREMAP : Centre pour la Recherche Économique et ses applications
  • CEREMA : Centre d’Études et d’expertise sur les Risques, l’Environnement, la Mobilité
    et l’Aménagement
  • CEREQ : Centre d’Études et de Recherche sur les Qualifications
  • CNISF : Conseil National des Ingénieurs et Scientifiques De France
  • CREDOC : Centre de Recherche pour l’Étude et l’Observation des Conditions de vie
  • DRIEA : Direction Régionale et Interdépartementale de l’Équipement et de l’Aménagement
    d’Île-de-France
  • INCa : Institut National du Cancer
  • INSERM : Institut National de la Santé Et de la Recherche Médicale
  • ISSP-France : International Social Survey Programme
  • IRDES : Institut de Recherche et de Documentation en Économie de la Santé
  • OCEMO : Office de Coopération Économique pour la Méditerranée et l’Orient
  • OVE : Observatoire de la Vie Étudiante

Il compte environs 1500 jeux de données.
Il s’agit uniquement des données quantitatives.
On y trouve une certaine profondeur historique car la plus ancienne enquête date de 1954.
Les données couvrent le territoire français (métropole et dom-tom)
Les données sont individuelles ou agrégées

Le catalogue de l’ADISP est organisé en dix thèmes :

  • population et démographie
  • travail et emploi
  • salaire et revenus
  • conditions de vie et société
  • santé et protection sociale
  • éducation et formation
  • opinions
  • entreprises
  • données localisées
  • données historiques

L’ADISP produit et diffuse également des produits sur mesure à partir de vingt sources de l’INSEE. Cela permet de faire des tableaux plus détaillés par rapport à ce qu’il y a de directement accessible sur le catalogue.
L’ADISP donne accès à des projections de populations à moyen/long terme sur tout territoire continu de plus 50 000 habitants (à partir de l’outil Omphale).
L’ADISP fournit également des tableaux agrégés prédéfinis sur les hôtels et les campings.

Le catalogue du service des enquêtes de l’INED.
Il produit et diffuse ses enquêtes. Il y a 245 données d’enquête disponibles en 2022 autour de 8 thématiques :

  • couples, familles, sexualité
  • naissance, fécondité, contraception
  • espérance de vie, mortalité, santé
  • migrations, discrimination, intégration
  • habitat, environnement, territoire
  • genre, inégalités hommes-femmes
  • âge de la vie, vieillissement
  • populations du monde

Le catalogue du CDSP.
Plus de 300 références sont disponibles à la fin de l’année 2018 avec deux types de données :

  • les données quantitatives : résultats électoraux et enquêtes quantitatives
  • les données qualitatives : via beQuali : enquêtes qualitatives en sciences humaines et sociale

La commande de données

Pour demander des données au réseau Quetelet, il faut s’inscrire en créant un profil utilisateur, puis faire une demande de données avec une présentation de son projet de recherche. Il faut signer les formulaires associés et les envoyer. Tout est ensuite vérifié et validé en fonction du projet et de l’appartenance institutionnelle. Ensuite, il est possible de télécharger les données voulues.
Pour s’inscrire, aller sur ce lien.

Sources & ressources

  • Zolotoukhine (Eric), Catalogue de données de PROGEDO, Tutoriel MATE-SHS, 4 février 2019.
    Lien
  • Site de PROGEDO.
    Lien
  • Site de l’ADISP.
    Lien
  • Le catalogue de l’INED.
    Lien
  • SITE DU CDSP (centre de données socio-politiques).
    Lien

CASD – Centre d’accès sécurisé aux données

Après habilitation du Comité du Secret statistique ou par convention, on peut travailler directement sur des fichiers très détaillés et des données confidentielles à distance à partir de terminaux sécurisés (SD-Box). Les exports de résultats sont contrôlés.
Historiquement, ce centre fournit trois types de sources :

  • les données individus et ménages
  • les données entreprises
  • les données agriculture.

L’accès à ces données est payant et contrôlés.

Sources & ressource

  • Zolotoukhine (Eric), Catalogue de données de PROGEDO, Tutoriel MATE-SHS, 4 février 2019.
    Lien
  • Site de PROGEDO.
    Lien
  • Site du CASD.

Les méthodes de collecte des données

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

QUESTIONNEMENT INTRODUCTIF

Les méthodes de données vont dépendre du type de données collectées : des données produites ou collectées, données non numériques ou numériques.

Les méthodes de production de données

Elles peuvent dépendre d’une méthode propre à une discipline comme la récupération de données archéologiques qui passe par les techniques de fouilles archéologiques.
Dans le même ordre d’idées, les sciences sociales comme l’ethnologie, l’anthropologie, la sociologie, les sciences du langage, les sciences politiques peuvent utiliser des méthodes bien définies par les disciplines telles que :

  • l’entretien (dirigée, semi-dirigée, non-dirigée)
  • le questionnaire
  • le sondage
  • l’observation (structurée, systématique, non-structurée, non-systématique)
  • le groupe de discussion
  • les enquêtes (par sondage, panel, test standardisé, questionnaire)

De manière générale, la communauté des chercheurs acquiert également des données non numériques par des moyens plus informels comme les échanges entre chercheurs notamment lors de rencontres, discussions, colloques, conférences. Ces échanges peuvent se traduire par une prise de note manuelle, sur papier.

Attention, ces données orales, non verbales, peuvent être collectées de façon numérique par le biais d’enregistrements ou d’outils numériques comme les cahiers de laboratoires ou les carnets de terrain.
Pour les données collectées de façon non numériques, il peut ensuite y avoir un processus de numérisation :

  • photographie numérique d’un objet, d’une situation ou numérisation d’images analogiques
  • transcription écrite d’enregistrement analogiques (ou numériques)

Toutefois nous sommes déjà ici dans le champ du traitement des données en vue de leur analyse. [Voir : fichier “Traitement et analyse] [Voir : cahier de terrain électronique]

Les méthodes de collecte de données

Un chercheur peut également récupérer des jeux de données préalablement collectées et traitées par d’autres chercheurs dans le cadre d’autres projets de recherche ou des données non structurées, non conçues pour la recherche.
Elles sont nombreuses et demandent plus ou moins de compétences informatiques.
Le chercheur peut se poser la question du temps à investir dans l’apprentissage et la maîtrise de ces méthodes. Est-il prêt à dépenser un tel temps ? Sa recherche nécessite t-elle ce type de méthodes ?
Le chercheur dispose-t-il du matériel nécessaire à ce type d’opération ?
Nous détaillons les méthodes ci-dessous.

Source & ressources

  • Del Bayle (Jean-Louis), Initiation aux méthodes des sciences sociales, Paris-Montréal, L’Harmattan, 2000, 272 p. Une édition numérique réalisée par, Émilie Tremblay, bénévole, doctorante en sociologie à l’UQAM.
    Lien
  • Sauvayre (Romy), Les méthodes de l’entretien en sciences sociales, Dunod, 2013.
    Lien
  • Billet de blog : T.T, Entretien ou questionnaire : quelle méthode de collecte de donnés pour son mémoire ?, 6 janvier 2017.
    Lien
  • Norimatsu (Horiko), Cazenave-Tapie (Pascal), Techniques d’observation en Sciences humaines et sociales, 52ème Congrès International de la Société d’Ergonomie de Langue Française (SELF), 20-22 Septembre 2017, Toulouse, France. Actes du 52ème Congrès de la SELF 2017, pp. 529-532.
    Lien,
    Actes complets disponibles en ligne.
  • Observatoire Espace & Société, La méthodologie d’enquête en sciences sociales, 2019.
    Lien

COPIER-COLLER

Sur une page web ou un document téléchargé, il est possible de copier-coller des données ou des informations. Il s’agit d’une opération manuelle coûteuse en temps.
Raccourci clavier sous Windows après sélection de l’extrait à copier :
copier : ctrl + C,
coller : ctrl + V.
Raccourci clavier sous Mac OS après sélection de l’extrait à copier :
copier : Cmd + C,
coller : Cmd + V.

Cette méthode peut être remplacée par une méthode semi-automatique, le web scraping qui permet de collecter des données de façon plus massive.

Sources & ressources

  • Wikipédia, Copier-Coller, mis à jour le 28 juillet 2021.
    Lien

TÉLÉCHARGEMENT

Méthode consistant à transférer des données ou des informations d’un ordinateur à un autre.
Il existe plusieurs types de téléchargement :

  • téléchargement direct avec stockage d’un fichier
  • lecture en continue ou streaming
  • navigation web,
  • téléchargement pair-à-pair (entre ordinateurs qui sont tous deux à la fois serveur et client)
  • téléchargement licite
  • téléchargement illicite.

Un fichier téléchargé peut être soumis au DRM (gestion numérique des droits) qui gère les conditions de son utilisation.
Pour le chercheur, il est possible de télécharger un jeu de données à partir d’un entrepôt de données, ou des documents à partir d’une base de données documentaire comme Persée, Cairn ou à partir d’une archive ouverte comme HAL.

Sources & ressources

  • Wikipédia, Téléchargement, mis à jour le 6 juillet 2022.
    Lien

FLUX RSS

Définition

  • Really Simple Syndication
  • Une technologie du web
  • Fichier texte au format XML. Il contient a minima un titre, une description, et l’URL de la ressource.
  • Syndication de contenus : publier automatiquement sur un site web, des infos provenant d’autres sites web
  • Agrégation de contenus : Stocker et consulter des contenus provenant de plusieurs flux d’informations.

À quoi servent les flux RSS ?

  • A organiser sa veille
  • A repérer les modifications de contenu d’un site web.
  • A récupérer les nouveauté d’un site web (quotidien, blog, base de données, compte twitter) et les intégrer dans un autre site ou logiciel.
  • Autrement dit : collecter de l’information de façon automatisée sans devoir aller consulter chacun des sites que l’on suit.

Comment utiliser les flux RSS ?

Grâce à des agrégateurs ou lecteur de flux. Ils permettent d’afficher sur une interface personnalisable les nouveautés des sites web dont on suit le fil RSS. Il s’agit d’outils de centralisation des flux d’informations issus de ces sites. Les agrégateurs fournissent des outils pour classer les flux par thématiques ou ordre alphabétique.
Ils sont de plusieurs types :

  • agrégateurs de flux en ligne de type application web
    Exemple d’agrégateur en ligne : feedly
  • agrégateurs à installer sur l’ordinateur, logiciel spécifique.
    Exemple d’agrégateur à installer : QuiteRSS (libre et open source) Raven Reader (open source)
  • page personnalisable : outil proche des deux précédents, la page personnalisable permet de créer un site web personnel, de l’organiser en onglet thématiques qui centralisent les flux RSS et intègrent d’autres services comme la messagerie électronique ou encore les comptes de réseaux sociaux.
    Exemple de page personnalisable : Netvibes
  • navigateurs : les navigateurs comme Firefox ou Internet explorer peuvent lire des flux rss et les intégrer aux favoris. Le flux s’affiche ensuite comme un marque-page
  • Certaines messageries comme Outlook ou Thunderbird permettent également d’intégrer des flux rss.

Notions liée : l’OPML

Outline Processor Markup Language. Format de fichier de type xml. Il permet le regroupement et l’identification des titres d’un texte. Il est utilisé dans l’univers des flux rss pour échanger des listes d’abonnements entre agrégateurs de flux.

Sources & ressources

  • Page web sur les outils de veille et les outils collaboratifs de l’université de Rennes 2. Licence CC-BY-NC-ND.
    Lien
  • Corinne Habarou – Urfist Paris, Utiliser les flux RSS pour sa veille : choisir son lecteur, session 2017. Licence CC-BY-NC-SA.
    Lien
  • Bibliothèques universitaires de l’université Aix-Marseille, page dédiée à l’automatisation de sa veille professionnelle, dernière mise à jour en septembre 2021.
    Lien
  • Wikipédia, Tableau comparatif des agrégateurs de flux, dernière mise à jour le 6 décembre 2021.
    Lien

WEB SCRAPING

Définition

Le web scraping consiste à récupérer de manière automatisée le contenu d’une ou plusieurs pages web à l’aide de scripts ou de logiciels et de sauvegarder ce contenu dans des formats de fichiers qui en facilitent l’analyse (de type, xml, json, csv ou texte brut).
Il permet de collecter certains éléments ciblés dans le code html de la page web.
Il permet d’éviter le copier-coller qui est une méthode humaine et manuelle.
Exemple d’utilisation : collecter les échanges d’une discussion sur un forum.

Distinction entre web crawler et web scraper

Web crawler : robot parcourant les sites web pour lister et stocker les URLS entrantes et sortantes de chaque page web.

Web scraper : robot ou programme parcourant des listes prédéfinies de sites web (donc des URL) pour extraire leur contenu. L’extraction s’effectue grâce à des sélecteurs comme XPath, CSS ou RegEX qui permettent de sélectionner des éléments de la structure html des pages du site scrapé.
Concrètement un sélecteur est une chaîne de caractère (en texte brut) qui explique au web scraper quels types de données il doit collecter et extraire de la page web.

Le web crawler va guider le web scraper d’url en url
Le web scraper collecte les données des url indiquées par le web crawler.

Les outils du web scraping

Plusieurs types d’outils permettent de faire du web scraping :

  • Des outils “clé-en-main” qui ne nécessitent pas de coder :
    • les extensions de navigateur comme Webscraper IO qui fonctionne avec Google Chrome.
    • les logiciels à installer sur son propre ordinateur comme Octoparse (payant au- delà de 14 jours) ou encore ParseHub (version téléchargeable gratuite, version cloud payante).
  • Des outils et des techniques pour créer son propre web scraper qui nécessitent des compétences en programmation informatique : les langages de programmation, les librairies, bibliothèques ou packages et les éditeurs de texte, éditeurs de code, IDE.
    • Il existe plusieurs langages de programmation, notamment Python, Java, C, C++, R, LaTeX, SQL, XML, Javascript, html, RDF.Python est une sorte de langage à tout faire. Il permet notamment de faire de l’analyse de données et de créer des interfaces.
    • Les librairies ou bibliothèques ou packages sont des portions de codes autrement dit un ensemble d’objets et de fonctions spécialisés dans un domaine d’utilisation. Les librairies n’ont pas d’interfaces graphiques, uniquement du code à réutiliser. Une bonne librairie possède une documentation bien développée.Par exemple Scrapy est une bibliothèque destiné au langage Python qui permet d’extraire des données en ligne. Elle est gratuite, open source et très bien documentée.
    • l’éditeur de texte possède des fonctionnalités limitées : écrire du texte,
      aligner le texte, modifier la taille de la police d’écriture.
    • l’éditeur de code possède des fonctionnalités plus avancées que l’éditeur de texte. Conçu pour écrire des logiciels, il permet de changer les polices et les couleurs pour une meilleure lisibilité du code qu’on est en train d’écrire, ou encore de se servir d’une autocomplétion propre au langage de programmation utilisé. On peut y ajouter des extensions pour plus de fonctionnalités et de personnalisation.
    • un IDE ou Environnement de développement intégré est un logiciel qui permet d’écrire, de compiler, de tester, de lancer, de dégobuer des logiciels. En résumé l’IDE comprend un éditeur de texte et plusieurs outils supplémentaires comme un débogueur qui exécute ligne à ligne le programme en cours d’écriture et aide à trouver les erreurs de programmation.
      Certains IDE s’emploient avec des langages de programmation spécifiques : IDE pour Python comme Pycharm ou Atom, IDE pour R comme RStudio, IDE pour javascript comme Visual Studio Code. Certains IDE servent à coder en plusieurs langages comme l’IDE CodeLite pour Python, C, C++, Javascript, PHP, Rust (Open source).

Est-ce légal ?

Le web scraping n’est pas illégal en soi mais sa légalité peut être compromise en fonction de l’utilisation des données scrapées, par exemple en cas d’utilisation commerciale des données. Certains sites n’autorisent pas le scraping. Avant de scraper, il faut lire les CGU (conditions générales d’utilisation) et les CGV (conditions générales de vente) et bien connaître le RGPD pour ce qui concerne les données à caractère personnelles. Le site de la CNIL fournit des informations et des outils à jour sur ce sujet.
Voir par exemple CNIL, Quels outils pour aider les acteurs de la recherche dans leur mise en conformité ?, 31 janvier 2022. Lien

Les obstacles au web scraping

  • La structure d’une page web évolue fréquemment. Il faudra donc modifier les scripts du web scraper en conséquence sinon, il peut ne renvoyer aucune donnée ou des données incomplètes et/ou inexactes.
  • Certains sites mettent en place des mécanismes “anti-scraping” et des pièges pour
    empêcher la collecte des données.
  • La qualité des données obtenues n’est pas garantie.

Sources & ressources

  • CNIL, quels outils pour aider les acteurs de la recherche dans leur mise en conformité ?, 31 janvier 2022. Lien
  • Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, Tuto MATE-SHS, 24 mai 2018.
    Lien
  • Site : Data Transition numérique.
    Lien
  • Site Sales Hacking.
    Lien
  • Présentation de l’extension Webscraper : Virginier Lethier, Les trucs et astuces de la plateforme technologique : Web scraping, MSHE, Université Franche-Comté, 11 avril 2019.
    Lien
  • Ménage (Pauline), Altenbernd (John), Hemmer (Roland), Adoptez Visual Studio comme environnement de développement, Site OpenClassrooms, mis à jour le 21 février 2022, (présente la différence entre éditeur de texte, de code et IDE).
    Lien

XPATH – XML Path Language

Définition

Pour bien comprendre le XPath, il faut connaître les notions propres aux XML.
Originellement, XPath est un langage de requête maintenu par le W3C qui permet de localiser une partie d’un document XML. Il est aussi employé pour repérer des portions dans des documents structurés donc écrits dans des langages structurés comme les langages de balisage tels que le html (page web). Les balises contiennent des infos. Les balises ont un type et peuvent avoir un attribut et un contenu. Par exemple, on peut vouloir sélectionner le contenu de la balise ou bien son attribut.
Distinction entre le contenu et l’attribut :

  • contenu : ce qui est entre les deux balises :
    <p>contenu</p>
  • attribut : ce qui est contenu dans la balise :
    <a href="www.nomdunsiteweb.fr">contenu</a>

XPath permet de dire à quel endroit de la structure on souhaite se positionner.
Par exemple, il possible de sélectionner tous les liens hypertexte contenus dans la page web consultée.
XPath consiste à écrire en texte brut le chemin qui permet d’accéder et de sélectionner les éléments de la page web voulus.

Le chemin XPath, les noeuds et les relations

Le chemin XPath comprend les notions de racine, noeud et de relations entre noeuds qui appartiennent à l’organisation d’un document XML.
Un noeud peut être, entre autres, le document lui-même (noeud racine), un élément xml (ou balise html), un attribut xml, le contenu de l’élément (ou de la balise).
Les relations entre noeuds sont de différentes natures :

  • Relation parents : tous les éléments et tous les attributs ont un parent.
  • Relation enfant : un noeud peut avoir un nombre illimité d’enfants.
  • Relation frère : deux noeuds ayant le même père sont frères.
  • Relation ancêtre : tous les ancêtres d’un noeud jusqu’au noeud racine qui est l’ancêtre de tous les noeuds du document.
  • Relation descendants : les fils et fils des fils. Tous les noeuds d’un document XML sont les descendants du noeud racine.

Les noeuds qui n’ont ni parents, ni enfant son dits “valeur atomique”.
Tous les noeuds sont structurés, ordonnées.
Avec XPath, plusieurs chemins mènent à un noeud :

  • le chemin le plus simple va de la racine au noeud ciblé en passant par tous les noeuds parents intermédiaires.
  • On peut aussi sauter un noeud.
  • Attention, un chemin peut aussi mener à plusieurs noeuds.

Comment écrire un chemin XPath ?

“Le premier concept est celui de noeud courant : c’est l’endroit d’où l’on part. En première lecture on peut imaginer qu’il s’agit de la racine du document, mais n’importe quel noeud peut jour ce rôle. À partir de là, on considère trois éléments :

  • un axe : la direction dans laquelle on se dirige à partir du noeud courant (vers le père, vers les fils, vers les frères de gauche, etc.) ;
  • un filtre : le type de noeuds qui nous intéresse dans l’axe choisi (des noeuds quelconques, des éléments quelconques ou un élément précis, des commentaires, etc.) ;
  • un prédicat optionnel : des conditions supplémentaires pour sélectionner des noeuds parmi ceux retenus par le filtre dans l’axe.
    Ils constituent à eux trois une étape et on les note axe::filtre[prédicat]. L’enchaînement de plusieurs étapes constitue une chemin XPath.”

(Source : Site de Fabien Torre, Cours sur les requêtes XPath)

Les principes de sélection

Il y trois grands principes de sélection :

  • le principe de sélection qui distingue l’enfant d’un noeud et son descendant.
  • enfant : on prend le noeud juste en dessous (/).
  • descendant : on prend le noeud à n’importe quel niveau inférieur de l’arborescence (//). Utile pour récupérer tous les liens indiqués sur une page web.
  • le principe de sélection qui est basé sur le contenu du texte ou de la balise, il est très important, très fréquent, notamment pour récupérer les noeuds qui correspondent à une condition et porte soit sur le texte (la balise), soit sur l’attribut de la balise.
  • Exemple : //div[@class="book"] = On sélectionne toutes les balises div dont l’attribut est “class” et dont le nom est “book”.
  • Autre exemple : //a[contains(text(),"anthropologie")] = on récupère tous les liens (a) qui contiennent le texte “anthropologie”.
  • le principe de sélection qui consiste à aller jusqu’à un noeud puis de monter ou de descendre, il est moins fréquent. Quand on est à un endroit, on peut spécifier si on veut monter ou descendre, prendre le frère ou le parent de tel ou tel noeud avec une série d’opérateurs qui permettent de sélectionner les infos qui nous intéressent.

En résumé : en XPath, il y a une série d’opérateurs important :

  • /= Enfant
  • // = Descendant
  • [] = Condition
  • @ = Attribut
  • contains()

Exemples de requêtes XPath :

  • /a = tous les liens hypertexte au niveau de la racine.
  • //a = tous les liens hypertexte de la page.
  • //div/a = tous les liens hypertexte immédiatement dans le div.
  • //div//a = tous les liens hypertexte n’importe où dans le div.
  • //a[contains(text(),'anthropologie')] = tous les liens hypertexte contenant ‘anthropologie’.

(Source : CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 3 “Sélectionner des données avec XPath)

Outil et astuce

  • Utiliser l’inspecteur d’élément (clic droit sur la page web puis “inspecter” ) pour visualiser simultanément un endroit sur une page web en y passant la souris et son code html correspondant ce qui permet de voir entre quel type de balises il se situe.
  • Chropath : extension pour le navigateur Firefox qui aide à écrire les chemins XPath.

Sources et ressources

  • Blog de José Paumard, Une première requête Xpath, 2018.
    Lien
  • CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 3 “Sélectionner des données avec XPath”.
    Lien
  • MDN web docs, Xpath, mis à jour le 28 mai 2022.
    Lien
  • Site de Fabien Torre, Cours sur les requêtes XPath, Université de Lille, mis à jour le 21 décembre 2021. Licence CC-BY-NC-NA.
    Lien
  • W3C Schools, XPath Tutorial.
    Lien

SELECTEURS CSS

Rappel

  • Le CSS est un langage employé pour mettre en forme la structure d’une page html.
    En général le CSS se trouve dans un fichier à part, relié au fichier html (le fichier CSS et les fichiers HTML sont dans un même dossier), ou dans le header du fichier html.
    Le CSS va cibler des éléments html pour les mettre en forme avec des sélecteurs.
  • La technique du scraping utilise des sélecteurs, notamment des sélecteurs CSS qui sont un pseudo méta-langage qui servent à cibler les éléments de la structure html pour en extraire du contenu.

Les sélecteurs CSS :

  • sélecteur de type : on reprend le nom de la balise html (body, h1, h2, h3, p, div, etc.).
  • Exemple :body {,
    pour mettre en forme ce qui est dans le body de la page html.
    On peut ajouter une couleur de fond, une taille de police, etc.
  • sélecteur d’attribut : dans le css, on le cible par le nom de la balise + entre crochet le nom de l’attribut :
  • Exemple a[href*="cnrs"],
    auquel on ajoute une mise en forme (couleur, police, fond, épaisseur de police).
  • sélecteur d’identifiant : dans le CSS on les cible par le dièse + nom de l’identifiant + {.
  • Exemple : #bonjour {,
    auquel on ajoute une mise en forme (couleur, police, fond).

Rappel : en html, un identifiant est un attribut que l’on applique à une balise. La valeur attribuée à un identifiant est unique par document.
Exemple : <image id="photodevacance1734.png">

  • sélecteur de classe : dans le css, on la cible par un point + nom de la classe + {.
  • Exemple : .paragraphe {,
    auquel on ajoute une mise en forme (couleur, police, fond, épaisseur de police).

Rappel : en html, une classe est un attribut que l’on applique à une balise. La valeur d’une classe peut être appliquée à plusieurs éléments de nature différente du documents.
Exemple : class=”red” peut être appliqué à une balise <p></p> et <h1></h1>.

Rappel : les attributs “id” et “class” sont surtout utilisés dans le html pour la mise en forme. Ils servent à appliquer des styles CSS aux éléments qui les contiennent. Ainsi, ils constituent des sélecteurs CSS particulièrement utiles.

  • sélecteurs combinés : assemblent plusieurs sélecteurs en une seule phrase. On combine plusieurs sélecteurs au sein d’un sélecteur.
    Combiner le sélecteur de la classe + le descendant direct de la classe s’écrit :
    .paragraphe > a {.

Sources & ressources

  • Site de Nicolas Aune, Apprendre html et CSS.
    Lien
  • ScrapyFly, billet de blog, Parsing HTML with CSS Selectors, 07 février 2022.
    Lien
  • Vergnaud (Frédéric), Extractify – un plugin Chrome d’extraction des données par son concepteur Frédéric Vergnaud, Tuto MATE-SHS, 14 décembre 2020.
    Lien
  • MDN Web docs, Sélecteurs CSS, mis à jour le 17 juin 2022.
    Lien
  • Site de Pierre Giraud, Les attributs HTML class et id et les sélecteurs CSS associés.
    Lien

EXPRESSIONS REGULIERES ou REGEX

Définition

Les expressions régulières ou expressions rationnelles ou RegEx sont un outil de type “rechercher et remplacer”.
Elles vont chercher un motif, une expression, dans le texte, et réaliser une opération sur ce motif.
Cette opération peut être : trouver le motif, le remplacer ou l’extraire.
C’est un outil très utile quand on travaille avec du texte notamment du texte non structuré.
C’est un outil utilisé très fréquemment en informatique.
En plus d’être un outil, RegEx c’est aussi un langage très puissant.

Qu’apportent-elles de plus que l’opération “ctrl+F” ou “cmd+F” ?

Elles permettent par exemple de trouver toutes les adresses mails ou encore toutes les URL dans un fichier texte comme un fichier html.
Elles permettent de trouver des occurences d’un terme ou d’une expressions à un endroit particulier de la phrase. Par exemple, trouver le mot “ciao” en début de phrase uniquement et non pas en fin de phrase.
Elles permettent aussi de calibrer le nombre de résultats qu’on veut extraire à partir d’une requête. Par exemple on peut extraire tous les “ciao” d’un texte ou seulement huit “ciao” ou huit “ciao” en début de phrase et huit “ciao” en fin de phrase.

Concrètement comment se présente une RegEX ?

C’est une chaîne de caractères.
Certains de ces caractères ont une fonction spécifique. L’ensemble de ces fonctions basées sur des caractères forment la syntaxe ou la grammaire des expressions régulières. Ainsi, il y a des règles à suivre pour rédiger une expression régulière qui soit correctement interprétée par un moteur.
Ce moteur peut avoir la forme d’une interface graphique ou celle d’une interface textuelle (éditeur de texte, IDE).

Quelques règles de syntaxe des RegEx

  • RegEx prend en compte la casse (majuscule ou minuscule).
    Si on écrit b, elle sélectionne tous les caractères “b” du fichier comme les “b” de Abou Dabi mais pas celui de Boston.
  • Si on écrit horticu, il sélectionne “horticulture”, “horticulteur” mais pas “horticole” car la lettre suivant le “c” n’est pas un u.
  • Si on écrit une date avec des tirets underscore comme 11_09_2001 il ne sélectionne PAS la date écrite avec des tirets “11-09-2001”.
  • L’ordre des caractères est pris en compte par les RegEx. Si on écrit 1981 il ne sélectionne pas “1891” car la place du 9 et du 8 est inversée.
  • Les RegEx peuvent intégrer des inconnues dans les opérations ce qui permet de généraliser une requête. Si on écrit p[a-z]rf, la RegEx peut sélectionner “parfum”, “parfait”, “perfuser” “perfide”. Autrement dit il retient toutes les chaînes de caractères qui comprennent un “p” minuscule suivi de n’importe quelle lettres suivie d’un “r” et d’un “f”.

Certaines règles de syntaxe permettent de généraliser davantage. Par exemple, si on écrit :

  • \d la RegEx sélectionne n’importe quel nombre.
  • \w la RegEx sélectionne n’importe quel mot, chiffre, ou _.
  • . la RegEx sélectionne n’importe quel caractère.

Certains caractères ou opérateurs permettent de localiser la requête au sein de la chaîne de caractère. Par exemple, si on écrit :

  • ^ la RegEx sélectionne le début de la ligne.
  • $ la RegEx sélectionne la fin de la ligne.
  • \b la RegEx sélectionne la fin d’un mot ou plus précisément, la frontière entre un caractère de type \w et un caractère appartenant à un autre type comme un espace.
  • Exemples :
  • ^Boston, la RegEx sélectionne “Boston, je rêve d’y aller.” mais pas “Je rêve d’aller à Boston”.
  • Boston$, la RegEx sélectionne “Je rêve d’aller à Boston.” mais pas “Boston, je rêve d’y aller”.
  • jardin\b : la RegEx sélectionne “jardin” mais pas “jardiner” ni “jardinier”.
  • \b\d : la RegEx sélectionne les chiffres en “début de mot”

Il existe aussi des quantificateurs qui précisent la quantité de ce qui les précède immédiatement :

  • a? signifie que ce qui précède (“a”) est présent zéro ou une fois. Cela équivaut à la question “Y a-t-il un “a” ?”.
  • a* signifie que ce qui précède (“a”) est présent zéro fois ou plus.
  • a+ signifie que ce qui précède (“a”) est présent une fois ou plusieurs fois.
  • a{3} signifie que ce qui précède (“a”) est présent 3 fois d’affilée.
  • ou encore : \d{4} = sélectionne n’importe quel suite de 4 chiffres minimum : “1968”, “12345” mais pas “123”.
  • a{2,} signifie que ce qui précède (“a”) est présent 2 fois ou plus.
  • a{2,5} signifie que ce qui précède (“a”) est présent entre 2 et 5 fois (aa, aaa, aaaa, aaaaa mais pas a ni aaaaaa).

Attention, parfois le langage RegEx et le langage naturel se confondent notamment avec des caractères tels que : ., +, *, \, [], ?. Donc pour spécifier qu’on veut mettre des caractères en langage naturel on utilise \. Cela s’appelle “échapper un caractère”.

Un outil

Regex101 : site où tester ses expressions régulières.

Sources & ressources :

  • Perret (Arthur), Cours sur les expressions régulières, mis à jour le 29 mars 2022.
    Lien
  • Davechild, Regular Expressions Cheat Sheet : un tableau récapitulatif des éléments RegEx et de leur signification.
    Lien
  • Regular expressions info : site de formation aux expressions régulières.
    Lien
  • RexEgg : site de formation aux expressions régulières.
    Lien

PARSER ou ANALYSEUR SYNTAXIQUE

Le parser sert à exploiter du texte brut. C’est un outil permettant de mettre en évidence, de dégager une structure à partir d’un texte brut pour, ensuite, extraire les données voulues rapidement. La structure dégagée peut être tabulaire (CSV) ou arborescente (XML, HTML).

Sources & ressources

  • CSS CNRS – Sciences sociales computationnelles, Cours stratégies numériques en sciences sociales, partie 2 “Ecrire et surtout lire le web”.
    Lien

API : Application Protocol Interface

Définition

Aujourd’hui, il y a une tendance à utiliser le terme API pour désigner un web service. Le web service est un type d’API, plus précisément une API disponible depuis une URL.
Définition d’Emmanuelle Bermès, Le web sémantique en bibliothèque, p. 35 :

“Les API sont des interfaces permettant à des applications de communiquer entre elles : une API fournit une façade formalisée par laquelle un logiciel offre des services à d’autres logiciels (récupération de données ou autres interactions). On parle aussi de Web service pour désigner des API qui utilisent les technologies du web. La plupart des sites du Web 2.0 (Amazon, Twitter, Facebook,…) offrent des API qui permettent à d’autres sites ou services en ligne de réutiliser le contenu qu’ils produisent (il est ainsi possible, par exemple, de récupérer directement et automatiquement sur son compte Facebook les tweets de son compte Twitter). La plupart de ces API sont propriétaires, c’est-à-dire que les interactions possibles dépendent du bon vouloir du fournisseur.”

Autrement dit :

Un producteur de données se sert d’une API (ou Web service) pour exposer ses données.
L’utilisateur de données se sert de l’API pour récupérer des données notamment via des URLs. Le système des API est très répandu, il sert à interroger des bases de données et à renvoyer des résultats à l’utilisateur.
Par exemple, une application météo sur un smartphone utilise une API qui va se connecter à une base de données où se trouvent les informations météorologiques pour les récupérer et les afficher elle-même. Les données récupérées via une API sont souvent destinées à être traitées par un autre programme informatique (et non pas directement par l’humain). Le fichier récupéré est donc peu lisible.
Les API sont toujours accompagnées d’une documentation qui donne des explications sur la manière de récupérer et traiter les données. Pour utiliser une API il est crucial de lire la documentation.

Concrètement, une API de type web service est une URL avec en fin d’URL un paramétrage pour filtrer les données. Ce paramétrage est propre à chaque producteur d’API.

API = URL + paramétrage

Différents types d’API

Il existe plusieurs types d’API. Il existe des API privées et des API publiques.
L’API privée ne peut être utilisée qu’en interne.
L’API publique est accessible à tous, elle autorise des tiers à développer des applications qui interagissent avec elle.
Dans l’univers des API web, il existe les API REST, basées sur le protocole HTTP, les API GraphQL, les API SOAP.

Quelle est la différence entre API et Web scraping ?

Les API permettent de récupérer des données brutes, sans la mise en page du html qu’on a avec le web scraping.

(Source : Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, tuto MATE-SHS, 24 mai 2018)

Quelques outils

  • Rapid API : site web qui tente de recenser toutes les API existantes et gratuitement accessibles.
  • Postman, logiciel gratuit pour formuler des requêtes à envoyer à une API et structurer les résultats de requête renvoyés par l’API.

Sources & ressources

  • Bermès (Emmanuelle), Le web sémantique en bibliothèque, Paris, Editions du Cercle de la Librairie, 2013, p. 35.
  • Site La Capsule.
    Lien
  • Geoffroy (Géraldine), Cours M2 Monde du monde du document, Université Cote d’Azur, 2021-2022.
  • Pedro (Kassandre), Schiller (Raye), Utilisez Postman pour formuler vos requêtes, Site OpenClassrooms, mis à jour le 31-03-2022.
    Lien
  • Pressac (Jean-Baptiste), Introduction au web scraping avec Scrapy, tuto MATE-SHS, 24 mai 2018.
    Lien
  • Bertrand, C’est quoi une API REST ? S’initier aux API avec Postman, 23 mars 2020.
    Lien

CAHIER DE LABORATOIRE ELECTRONIQUE

Il s’agit d’un outil de planification de la recherche, de collecte des données, de traitement et d’analyse des données produites par le chercheur. Il permet d’enregistrer et de répertorier les données produites en vue de leur réutilisation.
Dans sa version numérique, le cahier de laboratoire facilite :

  • le partage d’information avec le rattachement de données brutes,
  • la recherche d’information et de données,
  • la datation grâce à l’horodatage,
  • le travail collaboratif

Il concerne essentiellement les disciplines qui produisent des données en laboratoires. A priori, on pense davantage à un usage pour les sciences techniques et médicales.

Sources & ressources

  • Groupe de travail Atelier Données, Guide de bonnes pratiques sur la gestion des données de la recherche, 8 décembre 2021.
    Lien
  • Groupe de travail sur les cahiers de laboratoires électroniques, Rapport, Septembre 2021.
    Lien

CARNET DE TERRAIN ELECTRONIQUE

Définition

Il peut intéresser les chercheurs de plusieurs disciplines qui collectent des données sur un terrain : sociologues, anthropologues, ethnologues, archéologues.
Le carnet de terrain électronique permet la prise de note, la prise de son, la photographie. Il améliore la qualité des données collectées, permet de les utiliser plus rapidement puisque le temps de ressaisie est annulé.
D’un point de vue technologique, plusieurs techniques existent pour mettre en oeuvre et développer des carnets de terrain :

  • utilisation d’une application nomade à télécharger
  • utilisation d’une application web
  • développement d’une application spécifique avec un langage de programmation
  • développement d’une application grâce à une boîte à outils de création de carnet de terrain
  • développement d’une application en adaptant des logiciels existants.

(Source : Atelier données, Guide de Bonnes Pratiques sur la gestion des données de la Recherche, 08 décembre 2021)

Outils

  • KoBotoolbox :
    Outils de collecte de données (mais aussi d’analyse et de gestion).
    Il peut être utilisé en ligne et hors ligne, sur des smartphone, tablette.
    Mais, pour les chercheurs, la capacité de stockage est limitée à 5 Go par mois.
    Outil originellement créé pour la collecte de données en contexte humanitaire.
  • ODK :
    Logiciel Open Source payant de collecte de données mobile. Il fonctionne hors ligne, il permet de créer des formulaire, et une fois les données collectées, il est possible de les analyser en téléchargeant les données ou en connectant des applications d’analyse comme R.
    Autre accès.
  • ODK Collect :
    Application Android de collecte de données à télécharger sur un smartphone.
  • GeoPoppy :
    Outil Open Source permettant la collecte et la consultation de données géolocalisées.

Sources & ressources

  • CNRS-Inist, LaLIST, La veille pour vos informations scientifiques, techniques et stratégiques, Carnet de terrain électronique, Outils nomades.
    Lien
  • Groupe de travail Atelier Données, Guide de bonnes pratiques sur la gestion des données de la recherche, 8 décembre 2021.
    Lien
  • Onésime, Wiki Carnet de terrain électronique. Site d’information pour faciliter la saisie d’observations terrain, en milieu naturel, mis à jour 3 juin 2020.
    Lien
  • Réseau bases de données, Atelier “Carnets de terrain électroniques”, CNRS, 13 avil 2018.
    Lien

ORGANISATION DES DONNÉES COLLECTÉES

LE NOMMAGE DES FICHIERS

Les règles de nommage

  • Un nom court et explicite qui reflète le contenu du fichier. Exemple : Règles_nommage.pdf.
  • Certains systèmes techniques autorisent un nombre limité de caractères.
    Au-delà, des problèmes d’accès, de troncage, de restauration peuvent survenir. Par exemple, Windows limite le chemin d’accès à 256 caractères (nom des dossiers + noms des sous-dossiers à parcourir pour accéder au fichier + nom du fichier).
  • Pour raccourcir le nom du fichier, supprimer les mots vides : “le”, “un”, “et”, “ou”, etc., et utiliser abréviation, acronyme, nom de projet.
  • Éviter les espaces et les séparateurs
    : deux-points
    / ou \ barre oblique
    car certains systèmes d’exploitation reconnaissent ces caractères comme des séparateurs de répertoire.
    Donc, remplacer par un tiret – ou un underscore _ ou des majuscules à chaque initiale
  • Éviter les signes de ponctuation, parenthèses, guillemets, crochets
    () {} <> [] |. , ; ! ? ” ‘ *
    car ces caractères sont souvent employés dans les langages de programmation et de script.
    Donc, privilégier les caractères alphanumériques uniquement.
  • Éviter les signes diacritiques :
    à â é è ê ë î ï ô ö ù û ü ç
  • Éviter les caractères spéciaux du type : $ £ ¥ @ © ™,
    car en cas de partage de fichiers, les signes diacritiques peuvent ne pas être reconnus par certains systèmes d’encodage comme l’ASCII. Avec les caractères spéciaux, il peut y avoir des problèmes en cas d’export du fichier dans un autre format.
    Donc, privilégier les caractères alphanumériques uniquement.
  • Date et numérotation. Privilégier la date au format AAAA_MM_JJ ou AAAAMMJJ qui permet de présenter les fichiers dans l’ordre chronologique si la date est indiquée au début du nom des fichiers.
    Pour numéroter les fichiers, utiliser le même nombre de chiffres : 01, 02,… 99 plutôt que 1, 2,… 99. Ainsi, ils s’affichent dans le bon ordre séquentiel.
  • Placer l’élément le plus important en premier.
    Pour les fichiers en cours d’élaboration indiquer la version dans le nom. V01, V02 ou encore VP pour version provisoire, VF pour version finale.
  • Créer un plan de nommage qui recense et explique les règles choisies. Ce plan peut contenir une liste des abréviations à utiliser. Cette liste peut aussi figurer dans un document à part.

Pourquoi ces règles ?

  • Pour faciliter la recherche des fichiers.
  • Pour garantir l’accessibilité des fichiers.
  • Pour faciliter le partage et le travail en équipe.
  • Pour éviter les problèmes techniques entre systèmes d’exploitation.
  • Pour assurer une bonne gestion en prévision de l’archivage.

Sources & ressources

  • Urfist Méditerrannée, Comment bien nommer ses fichiers ?, DoRANum, mis à jour le 12 octobre 2018.
    Lien
  • Archives départementales du Tarn, Règles de nommage des fichiers, 2017.
    Lien
  • Service informatique de HES-SO Fribourg, Règles de nommage des noms de fichiers ou de dossiers.
    Lien
  • Université de Lausanne, Règles de nommage des fichiers et dossiers, 2019. Ce document donne des noms de logiciels pour renommer des fichiers par lot.
    Lien

OÙ VONT LES DONNÉES COLLECTÉES : LE STOCKAGE

Cela peut dépendre de qui effectue la collecte et qui travaille sur le projet de recherche, si on travaille seul ou en équipe.
Selon les cas, le matériel de stockage peut être personnel : ordinateur, disque dur externe, clé USB, espace personnel sur le cloud.
Le matériel de stockage peut aussi être partagé et/ou collaboratif : serveur institutionnel, espace partagé sur le cloud, espace Huma-Num, ordinateur du laboratoire de recherche.
Le lieu de stockage peut dépendre de l’usage futur des données :

  • sauvegarde uniquement,
  • traitement et analyse
  • publication.

Le stockage des données dépendra également de la puissance du matériel informatique à disposition du chercheur. Parallèlement, il faut penser à anticiper le poids des fichiers de données de façon à choisir le lieu de stockage le plus adéquat. Un vieil ordinateur personnel dont la mémoire est presque pleine n’est peut-être pas l’endroit le plus indiqué pour stocker et sauvegarder ses données.

SAUVEGARDE 3-2-1

Penser à sauvegarder les données en plusieurs endroits.
La technique de la sauvegarde 3-2-1 préconise :

  • de faire 3 copies de ses données
  • de les sauvegarder sur 2 supports différents (ordinateur, clé USB, disque dur externe, cloud)
  • de mettre 1 copie à distance, à un autre endroit physique.

Sources & ressources

Les données de la recherche : définitions

synthèse rédigée par Pauline Leplongeon, mise en ligne par Stella Mulas, stagiaires sur le projet EVEille en 2022 et 2023

OCDE : définition la plus courante

La définition de l’OCDE reprend en grande partie celle de l’Office of Management and Budget du gouvernement américain.
Selon l’ODCE

“les données de la recherche sont définies comme des enregistrements factuels (chiffres, textes, images et son), qui sont utilisés comme sources principales pour la recherche scientifique et sont généralement reconnus par la communauté scientifique comme nécessaires pour valider des résultats de recherche. Un ensemble de données de recherche constitue une représentation systématique et partielle du sujet faisant l’objet de la recherche.
Ce terme ne s’applique pas aux éléments suivants : carnets de laboratoire, analyses préliminaires et projets de documents scientifiques, programmes de travaux futurs, examens par les pairs, communications personnelles avec des collègues et objets matériels (par exemple, les échantillons de laboratoire, les souches bactériennes et les animaux de laboratoires tels que les souris). L’accès à tous ces produits ou résultats de la recherche est régi par d’autres considérations que celles abordées ici.”

Analyses et critiques de la définition de l’OCDE

La définition de l’OCDE, enrichit le concept de donnée comme matériel brut sur quatre points :

  • L’enregistrement est un préalable qui agit comme équivalent de la fixation matérielle d’une idée sur un support comme préalable de la reconnaissance et de la protection d’une oeuvre de l’esprit.
  • La nature factuelle, malgré la grande diversité des données, peut être supposée.
  • Le lien avec la communauté scientifique : une donnée est ce qui est acceptée par un groupe de chercheur comme telle.
  • La finalité : les données ont une fonction dans le processus scientifique, notamment pour la validation des hypothèses et des résultats.

(Source : J. Schöpfel, E. Kergosien, H. Prost, 2017)

L’ensemble des documents ou enregistrements produits par les chercheurs ne sont pas des données de la recherche puisque les données de types gestionnaires et managériales sont écartées de la définition de l’OCDE. L’approche archivistique n’est pas retenue dans cette définition.
Les données peuvent être produites en dehors du processus de recherche.
La définition de l’OCDE ne clôt pas la question de la nature et du périmètre des données, très dépendants du cadre disciplinaire.
Deux tendances caractérisent les données de la recherche : elles sont de plus en plus numériques/numérisées et de plus en plus massives.

(Source : Thierry Fournier, 2014)

Définition de la donnée par rapport au fait

“Quand on prouve qu’un fait est faux, il cesse d’être un fait. Une donnée fausse, en revanche, n’en demeure pas moins une donnée.”

(Source : Daniel Rosenberg, 2013, cité et traduit par. V. Rebouillat, 2019)

Pour Simon Chignard,

une donnée est “un fait brut, qui n’est pas – encore – interprété.”

(Source : Simon Chignard, 2012)

Définitions de la donnée par rapport à l’information et à la connaissance

La définition d’un informaticien :

“Une donnée est une description élémentaire, typiquement numérique pour nous, d’une réalité. C’est par exemple une observation ou une mesure.
À partir de données collectées, de l’information est obtenue en organisant ces donnée, en les structurant pour en dégager du sens.
En comprenant le sens de l’information, nous aboutissons à des connaissances, c’est-à-dire à des “faits” considérés comme vrais dans l’univers du locuteur, et à des “lois” (des règles logiques) de cet univers”.
Exemple développé :

“Des mesures de température relevés chaque jour dans une station météo, ce sont des données. Une courbe donnant l’évolution dans le temps de la température moyenne dans un lieu, c’est une information. Le fait que la température sur la terre augmente en fonction de l’activité humaine, c’est une connaissance.”

(Source : Serge Abiteboul, 2012)

La définition d’un philosophe :

“J’ai sur mon bureau un livre consacré aux habitudes de voyage des gens de Stockholm, que je n’ai pas encore lu – autrement dit, j’ai accès à de l’information sur la question, mais non à du savoir ; si je lis cet ouvrage, cette information aboutira probablement à du savoir, mais cette transformation de l’information en savoir ne se produira que si je comprends ladite information de manière à l’assimiler en l’intégrant à mon système de croyances : si j’en apprends le texte par coeur, sans le comprendre, je possède de l’information, mais pas de savoir sur la question.
Les données diffèrent de l’information en ce qu’elles n’ont pas à se présenter sous une forme qui se prête à l’assimilation. Si au lieu de l’ouvrage en question, j’avais sur mon bureau les dix mille questionnaires sur lesquels il repose, j’aurais des données au lieu d’information. En résumé, il faut que les données soient assimilables pour pouvoir constituer de l’information et qu’elles soient assimilées pour pouvoir constituer du savoir.”

(Source : Sven Ove Hansson, 2002)

La définition d’un spécialiste des sciences de l’information :

L’information peut être un processus, l’action d’informer, de communiquer.
L’information en tant que connaissance correspond au contenu de ce qui est communiqué. Elle est intangible et nécessite une représentation physique pour être communiquée.
Cette représentation c’est la donnée. La donnée c’est aussi l’information “as thing”, en tant que chose.
La donnée est informative. Mais, elle est informative selon la question que se pose celui qui l’observe et son degré d’expertise. Donc la donnée est une preuve situationnelle ou circonstantielle.

(Source : Michael K. Buckland, 1991 dans V. Rebouillat, 2019)

Définition de la donnée en fonction du processus de recherche

Il n’existe pas de donnée en soi.
C’est le chercheur qui détermine ce qu’est une donnée à partir du moment où il envisage une entité comme pouvant être utilisée en tant que preuve dans un développement scientifique.

“La représentation d’une observation, d’un objet ou de tout autre entité devient une donnée de recherche dès lors qu’elle est utilisée comme preuve d’un phénomène, à des fins scientifiques”.

(Source : Christine L. Borgman (2015) dans V. Rebouillat (2019))

Les données sont portables, elles sont communicables. Cette portabilité est nécessaire à leur caractérisation comme preuve.

(Source : Sabina Leonellli, 2015, dans V. Rebouillat, 2019)

Sources & ressources

  • Abiteboul (Serge), Sciences des données : de la logique du premier ordre à la Toile : leçon inaugurale prononcée le jeudi 8 mars 2012, Paris, Collègue de France, 2012.
    Lien
  • André (Francis), “Déluge des données de la recherche ? Petit manuel d’immersion. Curation, infrastructures et partage”, dans Calderan (Lisette), Laurent (Pascale), Lowinger (Hélène) et al. (sous la dir.), Big Data. Nouvelles partitions de l’information. Actes du séminaire IST Inria, octobre 2014, Louvain-la-Neuve, De Boeck Supérieur, “Information et stratégie”, 2014, pp. 77-95.
    Lien
  • Borgman (Christine L.), Big Data, Little Data, no Data: Scholarship in the networked World, Cambridge MA, The MIT Press, 2015, p. 28.
  • Buckland (Michael K.), “Information as thing”, dans Journal of the American Society for Information Science, 42 (5), 1991, pp. 351-360.
    [Lien : https://doi.org/10.1002/(SICI)1097-4571(199106)42:5<351::AID-ASI5>3.0.CO;2-3)]
  • Chignard (Simon), Open Data : comprendre l’ouverture des données publiques, Limoges, FYP éditions, 2012.
  • Fournier (Thierry), “Les données de la recherche : définition et enjeux”, dans Arabesques, 73, 2014.
    Lien
  • Hansson (Sven Ove), “Les incertitudes de la société du savoir”, dans Revue internationale des sciences sociales, 171 (1), 2002, pp. 43-51.
    Lien
  • Leonelli (Sabina), “What counts as Scientific Data? A Relational Framework”, dans Philosophy of Science, 82 (5), 2015, pp. 810-821.
  • OCDE, Principes et lignes directrices pour l’accès aux données de la recherche financées sur fonds publics, Paris, éd. de l’OCDE, 2007, p. 18.
    Lien
  • Rebouillat (Violaine), Ouverture des données de la recherche : de la vision politique aux pratiques des chercheurs. Sciences de l’information et de la communication, Conservatoire national des Arts et Métiers – CNAM, 2019.
    Lien
  • Rosenberg (Daniel), “Data before the Fact”, dans Gitelman (Lisa), Raw Data is an Oxymoron, Cambridge, MIT Press, 2013, pp. 15-40.
    Lien
  • Schöpfel (Joachim), Kergosien (Eric), Prost (Hélène), “Pour commencer, pourriez-vous définir ‘données de la recherche’ ?” Une tentative de réponse. Atelier VADOR : Valorisation et Analyse des Données de la Recherche, INFORSID 2017, Toulouse, mai 2017. Lien

Les données de la recherche : typologies

Typologies en fonction de la méthode d’obtention des données

  • Les données d’observation : créées à l’initiative d’un chercheur ou d’une équipe de recherche de façon spécifique dans le cadre d’un projet de recherche, ou obtenues de façon routinière par des instruments automatiques ; la donnée est capturée en temps réel, et à ce titre non reproductible : la mesure de la salinité d’un océan en un lieu précis, une image de la voie lactée, une mesure sismique… ;
  • les données d’expérimentation : créées en laboratoires dans des contextes contrôlés, et donc le plus souvent reproductibles : séquences génétiques, chromatogrammes, analyses chimiques… ;
  • Les données de simulation : générées par des modèles informatiques, elles peuvent utiliser des données d’observation comme base de travail, en produisant des résultats décrivant des projections dans le futur de processus complexes. Les données produites sont indissociables des modèles informatiques : la modélisation du climat, ou de l’économie, ou des écoulements d’air autour d’une aile d’avion… ;
  • les données dérivées : résultent d’un traitement, d’une sélection, d’une compilation ou d’une agrégation de données brutes préalablement acquises par observation, expérimentation ou simulation, et sélectionnées pour constituer des ensembles d’informations ayant leurs caractéristiques propres : données moyennes de températures, statistiques de populations… ; les données issues de processus de text et data mining sur des corpus créés à cette intention entrent dans cette catégorie ;
  • les données de référence : données ayant été en général préalablement publiées qui sont collectées triées et agrégées, servant d’éléments canoniques : les données décrivant les objets stellaires compilées dans les publications astronomiques, les bases de données de séquences génétiques, les archives photographiques, corpus textuels de référence…

(Source : Francis André, 2015)

  • L’approche herméneutique et textuelle : qui concerne en particulier des disciplines comme le droit, l’histoire et la philosophie. Ces disciplines manipulent essentiellement des textes (juridiques, historiques ou philosophiques), qu’elles analysent et interprètent. Ces textes ne sont d’ailleurs pas appelés « données » par les chercheurs, mais plutôt « matériaux ».
  • L’approche expérimentale et de terrain, caractéristique de disciplines telles que l’archéologie, l’économie, la géographie, la linguistique, la psychologie ou la sociologie. Ces disciplines sont souvent productrices de données, qu’elles collectent sur le terrain ou à partir de tests.

(Source : Francisca Cabrera dans Violaine Rebouillat (2019))

Données primaires : données collectées par la personne qui effectue la recherche.
Données secondaires : données collectées par une personne différente de l’utilisateur.

(Source : Urfist Rennes, 2020)

Typologie en fonction du cycle de vie des données

  • Données sources (utilisées par les chercheurs pour leur recherche) : observations, expériences, simulations, images, enquêtes et interviews, statistiques et données de références, fichiers logs et données d’utilisation, documents textuels
  • Données résultats (données produites comme résultat de recherche) : images, visualisations et modèles multidimensionnels, enregistrements sonores, enregistrements vidéo, textes, tableurs, bases de données, logiciels et applications, des données spécifiques par domaine ou instruments / équipements.

(Source : Simukovic & al., 2014 dans H. Prost, J. Schöpfel, 2015)

En SHS, on peut distinguer :

  • Les données utilisées :
  • Des documents relevant des archives ;
  • Des documents issus de la production scientifique, publiés ou non (articles de revue, ouvrages, littérature grise) ;
  • Des sources matérielles ou primaires (objets, tweets, corpus de textes) ;
  • Des données de référencement (de type bibliographies) ;
  • Des données statistiques issues de l’administration publique.
  • Les données produites :
  • Les données générées par un travail de terrain (données d’entretiens, données issues de démarches expérimentales comme en psychologie) ;
  • Les données nées d’un travail de transformation sur les données brutes de départ (numérisation d’archives, structuration de données en base de données, modélisation de données web sous forme de graphes…).

(Source : Francisca Cabrera dans V. Rebouillat, 2019)

  • Les données préliminaires ou données préparatoires : exclues dans un contexte de diffusion
  • Les données brutes : données acquises lors du processus de recherche et déjà potentiellement traitées ;
  • Les données traitées et analysées : données ayant subi une transformation telle qu’il n’est plus possible d’accéder aux données brutes (ex. : graphique)

(Source : Marielou Pain, 2016)

  • Données brutes : données recueillies qui n’ont pas encore été organisées, mises en formes ou analysées.
  • Données traitées : données produites après calibration/étalonnage ou correction des données brutes.
  • Données dérivées : présentent un résumé ou une représentation/vue spécifique des données (agrégation, compilation, calcul, réorganisation).
  • Données analysées, interprétées : données publiées.

(Source : Urfist PSL, 2021)

Typologie en fonction du statut juridique des données

Les trois statuts juridiques des données :

  • Données communicables
  • Données communicables sous conditions
  • Données non communicables

Dans le détail :

  • Données communicables – communication obligatoire :
  • Données géographiques
  • Données environnementales relatives à des émissions de substances dans l’environnement
  • Données communicables sous conditions :
    -Données protégées par le droit d’auteur et autres droits de la propriété intellectuelle
    -Données présentant des risques pour la protection du potentiel scientifique et technique de la nation
  • Données relatives aux personnes, à la vie privée
  • Données statistiques
  • Données liées à un contrat avec un tiers non soumis à une obligation de service public
    Cas des zones à régimes restrictif (ZRR)
  • Données non communicables par principe :
  • Données présentant des risques pour la protection du secret et de la défense nationale
  • Données présentant des risques pour la sécurité publique de l’État ou pour la sécurité de l’établissement
  • Données relatives au secret professionnel

(Source : Doranum, La communicabilité des données de la recherche, 2018 ; Ouverture des données de la recherche. Guide d’analyse du cadre juridique en France, 2017))

Typologies en fonction de la nature des données

Ces typologies existent et sont très diverses. (Doranum, CatOpidor, Re3Data)

“données archivées, données audiovisuelles, données de configuration, bases de données, images, données de réseau, plein texte, données brutes, formats de données scientifiques et statistiques, logiciels, code source, documents administratifs, texte structuré, et autres.”

(Source : Re3data)

Elles dépendent souvent du cadre disciplinaire ou épistémologique de la recherche.

“Les données en sociologie (enquêtes, séries statistiques…) sont très différentes des données en archéologie (rapports de fouilles…) ou en linguistique (corpus de textes…).”

(Source : Thierry Fournier, 2014)

Mais beaucoup de ces catégories sont également transdisciplinaires.

(Source : Schöpfel & al., 2015)

Sources & ressources

Typologies en fonction des méthodes d’obtention des données :

  • Francis André, « Chapitre 5. Déluge des données de la recherche ? Petit manuel d’immersion. Curation, infrastructures et partage », dans Big Data. Nouvelles partitions de l’information. Actes du séminaire IST Inria, octobre 2014, sous la direction de Lisette Calderan, Pascale Laurent, Hélène Lowinger et al. Louvain-la-Neuve, De Boeck Supérieur, « Information et stratégie », 2014, p. 77-95.
    Lien, DOI : 10.3917/dbu.caan.2014.02.0077.
  • Violaine Rebouillat, Ouverture des données de la recherche : de la vision politique aux pratiques des chercheurs. Sciences de l’information et de la communication. Conservatoire national des arts et metiers – CNAM, 2019. Français. Lien
  • Urfist Rennes, 2020. Lien

Typologies en fonction du cycle de vie des données :

  • Hélène Prost, Joachim Schöpfel, Les données de la recherche en SHS. Une enquête à l’Université de Lille 3. : Rapport final. [Rapport de recherche] Lille 3, 2015.
    Lien
  • Marielou Pain. Les données de la recherche et leurs entrepôts, de la documentation à la réutilisation : étude de cas pour l’archive HAL, 2016. Lien
  • Urfist PSL, 2021. Lien

Typologies en fonction du statut juridique des données :

  • Nicolas Becard, Céline Castets-Renard, Gauthier Chassang, Martin Dantant, Laurence Freyt-Caffin, et al., Ouverture des données de la recherche. Guide d’analyse du cadre juridique en France, [Rapport de recherche] Comité pour la science ouverte. 2017, pp. 28-29.
    Lien
  • Doranum, La Communicabilité des données de la recherche. Lien

Typologie en fonction de la nature des données :

  • CatOpidor
  • Doranum
  • Thierry Fournier, « Les données de la recherche : définition et enjeux », Arabesques, 73, 2014, mis en ligne le 22 août 2019, consulté le 11 mai 2022. Lien
  • Joachim Schöpfel, Eric Kergosien et Hélène Prost, “Pour commencer, pourriez-vous définir
    ‘données de la recherche’ ?” Une tentative de réponse. Atelier VADOR, Valorisation et Analyse des Données de la recherche ; INFORSID 2017, Mai 2017, Toulouse, France.
    Lien