Partie 6 Le tidyverse

6.1 Extensions

Le terme tidyverse est une contraction de tidy (qu’on pourrait traduire par “bien rangé”) et de universe. Il s’agit en fait d’une collection d’extensions conçues pour travailler ensemble et basées sur une philosophie commune.

Elles abordent un très grand nombre d’opérations courantes dans R (la liste n’est pas exhaustive) :

  • visualisation
  • manipulation des tableaux de données
  • import/export de données
  • manipulation de variables
  • extraction de données du Web
  • programmation

Un des objectifs de ces extensions est de fournir des fonctions avec une syntaxe cohérente, qui fonctionnent bien ensemble, et qui retournent des résultats prévisibles. Elles sont en grande partie issues du travail d’Hadley Wickham, qui travaille désormais pour RStudio.

6.2 Installation

tidyverse est également le nom d’une extension qu’on peut installer de manière classique, soit via le bouton Install de l’onglet Packages de RStudio, soit en utilisant la commande :

install.packages("tidyverse")

Cette commande va en fait installer plusieurs extensions qui constituent le “coeur” du tidyverse, à savoir :

  • ggplot2 (visualisation)
  • dplyr (manipulation des données)
  • tidyr (remise en forme des données)
  • purrr (programmation)
  • readr (importation de données)
  • tibble (tableaux de données)
  • forcats (variables qualitatives)
  • stringr (chaînes de caractères)

De la même manière, charger l’extension avec :

library(tidyverse)

Chargera l’ensemble des extensions précédentes.

Il existe d’autres extensions qui font partie du tidyverse mais qui doivent être chargées explicitement, comme par exemple readxl (pour l’importation de données depuis des fichiers Excel).

La liste complète des extensions se trouve sur le site officiel du tidyverse.

Ce document est basé sur les versions d’extension suivantes :

ggplot2 2.2.1     purrr   0.2.4
tibble  1.4.2     dplyr   0.7.4
tidyr   0.8.0     stringr 1.3.0
readr   1.1.1     forcats 0.3.0

6.3 tidy data

Le tidyverse est en partie fondé sur le concept de tidy data, développé à l’origine par Hadley Wickham dans un article de 2014 du Journal of Statistical Software.

Il s’agit d’un modèle d’organisation des données qui vise à faciliter le travail souvent long et fastidieux de nettoyage et de préparation préalable à la mise en oeuvre de méthodes d’analyse.

Les principes d’un jeu de données tidy sont les suivants :

  1. chaque variable est une colonne
  2. chaque observation est une ligne
  3. chaque type d’observation est dans une table différente

On verra plus précisément dans la section 12 comment définir et rendre des données tidy avec l’extension tidyr.

Les extensions du tidyverse, notamment ggplot2 et dplyr, sont prévues pour fonctionner avec des données tidy.

6.4 tibbles

Une autre particularité du tidyverse est que ces extensions travaillent avec des tableaux de données au format tibble, qui est une évolution plus moderne du classique data frame du R de base. Ce format est fourni est géré par l’extension du même nom (tibble), qui fait partie du coeur du tidyverse. La plupart des fonctions des extensions du tidyverse acceptent des data frames en entrée, mais retournent un objet de classe tibble.

Contrairement aux data frames, les tibbles :

  • n’ont pas de noms de lignes (rownames)
  • autorisent des noms de colonnes invalides pour les data frames (espaces, caractères spéciaux, nombres…) 10
  • s’affichent plus intelligemment que les data frames : seules les premières lignes sont affichées, ainsi que quelques informations supplémentaires utiles (dimensions, types des colonnes…)
  • ne font pas de partial matching sur les noms de colonnes 11
  • affichent un avertissement si on essaie d’accéder à une colonne qui n’existe pas

Pour autant, les tibbles restent compatibles avec les data frames. On peut ainsi facilement convertir un data frame en tibble avec as_tibble :

as_tibble(mtcars)
# A tibble: 32 x 11
     mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb
 * <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
 1  21.0  6.00   160 110    3.90  2.62  16.5  0     1.00  4.00  4.00
 2  21.0  6.00   160 110    3.90  2.88  17.0  0     1.00  4.00  4.00
 3  22.8  4.00   108  93.0  3.85  2.32  18.6  1.00  1.00  4.00  1.00
 4  21.4  6.00   258 110    3.08  3.22  19.4  1.00  0     3.00  1.00
 5  18.7  8.00   360 175    3.15  3.44  17.0  0     0     3.00  2.00
 6  18.1  6.00   225 105    2.76  3.46  20.2  1.00  0     3.00  1.00
 7  14.3  8.00   360 245    3.21  3.57  15.8  0     0     3.00  4.00
 8  24.4  4.00   147  62.0  3.69  3.19  20.0  1.00  0     4.00  2.00
 9  22.8  4.00   141  95.0  3.92  3.15  22.9  1.00  0     4.00  2.00
10  19.2  6.00   168 123    3.92  3.44  18.3  1.00  0     4.00  4.00
# ... with 22 more rows

Si le data frame d’origine a des rownames, on peut d’abord les convertir en colonnes avec rownames_to_columns :

d <- as_tibble(rownames_to_column(mtcars))
d
# A tibble: 32 x 12
   rowname       mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear
   <chr>       <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
 1 Mazda RX4    21.0  6.00   160 110    3.90  2.62  16.5  0     1.00  4.00
 2 Mazda RX4 …  21.0  6.00   160 110    3.90  2.88  17.0  0     1.00  4.00
 3 Datsun 710   22.8  4.00   108  93.0  3.85  2.32  18.6  1.00  1.00  4.00
 4 Hornet 4 D…  21.4  6.00   258 110    3.08  3.22  19.4  1.00  0     3.00
 5 Hornet Spo…  18.7  8.00   360 175    3.15  3.44  17.0  0     0     3.00
 6 Valiant      18.1  6.00   225 105    2.76  3.46  20.2  1.00  0     3.00
 7 Duster 360   14.3  8.00   360 245    3.21  3.57  15.8  0     0     3.00
 8 Merc 240D    24.4  4.00   147  62.0  3.69  3.19  20.0  1.00  0     4.00
 9 Merc 230     22.8  4.00   141  95.0  3.92  3.15  22.9  1.00  0     4.00
10 Merc 280     19.2  6.00   168 123    3.92  3.44  18.3  1.00  0     4.00
# ... with 22 more rows, and 1 more variable: carb <dbl>

À l’inverse, on peut à tout moment convertir un tibble en data frame avec as.data.frame :

as.data.frame(d)
# A tibble: 32 x 12
   rowname       mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear
   <chr>       <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
 1 Mazda RX4    21.0  6.00   160 110    3.90  2.62  16.5  0     1.00  4.00
 2 Mazda RX4 …  21.0  6.00   160 110    3.90  2.88  17.0  0     1.00  4.00
 3 Datsun 710   22.8  4.00   108  93.0  3.85  2.32  18.6  1.00  1.00  4.00
 4 Hornet 4 D…  21.4  6.00   258 110    3.08  3.22  19.4  1.00  0     3.00
 5 Hornet Spo…  18.7  8.00   360 175    3.15  3.44  17.0  0     0     3.00
 6 Valiant      18.1  6.00   225 105    2.76  3.46  20.2  1.00  0     3.00
 7 Duster 360   14.3  8.00   360 245    3.21  3.57  15.8  0     0     3.00
 8 Merc 240D    24.4  4.00   147  62.0  3.69  3.19  20.0  1.00  0     4.00
 9 Merc 230     22.8  4.00   141  95.0  3.92  3.15  22.9  1.00  0     4.00
10 Merc 280     19.2  6.00   168 123    3.92  3.44  18.3  1.00  0     4.00
# ... with 22 more rows, and 1 more variable: carb <dbl>

Là encore, on peut convertir la colonne rowname en “vrais” rownames avec column_to_rownames :

column_to_rownames(as.data.frame(d))
# A tibble: 32 x 11
     mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb
 * <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
 1  21.0  6.00   160 110    3.90  2.62  16.5  0     1.00  4.00  4.00
 2  21.0  6.00   160 110    3.90  2.88  17.0  0     1.00  4.00  4.00
 3  22.8  4.00   108  93.0  3.85  2.32  18.6  1.00  1.00  4.00  1.00
 4  21.4  6.00   258 110    3.08  3.22  19.4  1.00  0     3.00  1.00
 5  18.7  8.00   360 175    3.15  3.44  17.0  0     0     3.00  2.00
 6  18.1  6.00   225 105    2.76  3.46  20.2  1.00  0     3.00  1.00
 7  14.3  8.00   360 245    3.21  3.57  15.8  0     0     3.00  4.00
 8  24.4  4.00   147  62.0  3.69  3.19  20.0  1.00  0     4.00  2.00
 9  22.8  4.00   141  95.0  3.92  3.15  22.9  1.00  0     4.00  2.00
10  19.2  6.00   168 123    3.92  3.44  18.3  1.00  0     4.00  4.00
# ... with 22 more rows

Les deux fonctions column_to_rownames et rownames_to_column acceptent un argument supplémentaire var qui permet d’indiquer un nom de colonne autre que le nom rowname utilisé par défaut pour créer ou identifier la colonne contenant les noms de lignes.


  1. Quand on veut utiliser des noms de ce type, on doit les entourer avec des backticks (`)

  2. Dans R de base, si une table d contient une colonne qualif, d$qual retournera cette colonne.