Introduction
Dans le chapitre 3 vous avez eu un premier aperçu de la bibliothèque 🤗 Datasets et des trois étapes principales pour finetuner un modèle :
- chargement d’un jeu de données à partir du Hub d’Hugging Face,
- prétraitement des données avec
Dataset.map(), - chargement et calcul des métriques.
Mais ce n’est qu’effleurer la surface de ce que 🤗 Datasets peut faire ! Dans ce chapitre, nous allons plonger profondément dans cette bibliothèque. En cours de route, nous trouverons des réponses aux questions suivantes :
- que faire lorsque votre jeu de données n’est pas sur le Hub ?
- comment découper et trancher un jeu de données ? (Et si on a vraiment besoin d’utiliser Pandas ?)
- que faire lorsque votre jeu de données est énorme et va monopoliser la RAM de votre ordinateur portable ?
- qu’est-ce que c’est que le « memory mapping » et Apache Arrow ?
- comment créer votre propre jeu de données et le pousser sur le Hub ?
Les techniques apprises dans ce chapitre vous prépareront aux tâches avancées de tokenisation du chapitre 6 et de finetuning du chapitre 7. Alors prenez un café et commençons !