Introduzione
Nel Capitolo 3 hai mosso i primi passi nella libreria 🤗 Datasets, e hai scoperto i tre passaggi fondamentali nell’ottimizzazione dei modelli:
- Si carica un dataset dell’Hub Hugging Face.
- Si processano i dati con
Dataset.map(). - Si caricano e si elaborano le metriche.
Ma questo non è che un assaggio di ciò che 🤗 Datasets è in grado di fare! In questo capitolo approfondiremo le potenzialità della libreria. Durante questo percorso, troverai risposta alle seguenti domande:
- Cosa fare quando un dataset non è presente nell’Hub?
- Come fare a tagliuzzare il dataset? (E cosa succede se devi proprio usare Pandas?)
- Cosa fare quando un dataset è tanto grande da sciogliere la RAM del tuo portatile?
- Cosa cavolo sono il “mappamento di memoria” e Apache Arrow?
- Come fare per creare il proprio dataset e pubblicarlo sull’Hub?
Le tecniche che imparerai ti prepareranno a compiti più avanzati di tokenizzazione e fine-tuning che troverai nei capitoli Chapter 6 e Chapter 7 — quindi preparati una tazza di caffè e iniziamo!