Construire une carte de modèle
La carte de modèle est un fichier qui est sans doute aussi important que les fichiers du modèle et du tokenizer dans un dépôt de modèles. Il s’agit de la définition centrale du modèle, qui garantit la réutilisation par les autres membres de la communauté, la reproductibilité des résultats, et une plateforme sur laquelle les autres membres peuvent construire leurs artefacts.
Documenter le processus d’entraînement et d’évaluation aide les autres à comprendre ce qu’ils peuvent attendre d’un modèle. Fournir suffisamment d’informations concernant les données utilisées, les prétraitements et post-traitements effectués permet d’identifier et de comprendre les limites, les biais et les contextes dans lesquels le modèle est ou n’est pas utile.
Par conséquent, la création d’une carte de modèle définissant clairement votre modèle est une étape très importante. Nous vous donnons ici quelques conseils qui vous aideront à le faire. La création de la fiche de modèle se fait par le biais du fichier README.md que vous avez vu précédemment, qui est un fichier Markdown.
Le concept de carte de modèle provient d’une direction de recherche de Google, partagée pour la première fois dans l’article « Model Cards for Model Reporting » par Margaret Mitchell et al. De nombreuses informations contenues dans ce document sont basées sur cet article et nous vous recommandons d’y jeter un coup d’œil pour comprendre pourquoi les cartes de modèles sont si importantes dans un monde qui valorise la reproductibilité, la réutilisation et l’équité.
La carte de modèle commence généralement par une très brève présentation de haut niveau de l’objet du modèle, suivie de détails supplémentaires dans les sections suivantes :
- description du modèle
- utilisations et limites prévues
- comment utiliser le modèle
- limites et biais
- données d’entraînement
- procédure d’entraînement
- résultats de l’évaluation
Voyons ce que chacune de ces sections doit contenir.
Description du modèle
La description du modèle fournit des détails de base sur le modèle. Cela inclut l’architecture, la version, s’il a été présenté dans un article, si une implémentation originale est disponible, l’auteur et des informations générales sur le modèle. Tout droit d’auteur doit être attribué ici. Des informations générales sur les procédures d’entraînement, les paramètres et les avertissements importants peuvent également être mentionnés dans cette section.
Utilisations et limitations prévues
Vous décrivez ici les cas d’utilisation auxquels le modèle est destiné, y compris les langues, les domaines et les champs où il peut être appliqué. Cette section de la fiche de modèle peut également documenter les domaines qui sont connus pour être hors de portée du modèle, ou dans lesquels il est susceptible de fonctionner de manière sous-optimale.
Comment utiliser
Cette section doit inclure des exemples d’utilisation du modèle. Cela peut montrer l’utilisation de la fonction pipeline(), l’utilisation des classes du modèle et du tokenizer, et tout autre code que vous pensez être utile.
Données d’entraînement
Cette partie doit indiquer sur quel(s) jeu(x) de données le modèle a été entraîné. Une brève description du ou des jeux de données est également la bienvenue.
Procédure d’entraînement
Dans cette section, vous devez décrire tous les aspects pertinents de l’entraînement qui sont utiles du point de vue de la reproductibilité. Cela inclut tout prétraitement et post-traitement effectué sur les données, ainsi que des détails tels que le nombre d’époques pour lesquelles le modèle a été entraîné, la taille du batch, le taux d’apprentissage, etc.
Variable et métriques
Décrivez ici les métriques que vous utilisez pour l’évaluation et les différents facteurs que vous mesurez. En mentionnant la ou les métriques utilisées, sur quel jeu de données et quelle division du jeu de données, il est plus facile de comparer les performances de votre modèle à celles d’autres modèles. Les sections précédentes, telles que les utilisateurs prévus et les cas d’utilisation, doivent être prises en compte.
Résultats de l’évaluation
Enfin, fournissez une indication de la performance du modèle sur l’ensemble de données d’évaluation. Si le modèle utilise un seuil de décision, indiquez le seuil de décision utilisé dans l’évaluation ou fournissez des détails sur l’évaluation à différents seuils pour les utilisations prévues.
Exemple
Voici quelques exemples de cartes de modèles bien conçues :
D’autres exemples provenant de différentes organisations et entreprises sont disponibles ici.
Note
Les fiches de modèle ne sont pas une exigence lors de la publication de modèles, et vous n’avez pas besoin d’inclure toutes les sections décrites ci-dessus lorsque vous en faites une. Cependant, une documentation explicite du modèle ne peut qu’être bénéfique aux futurs utilisateurs. Nous vous recommandons donc de remplir autant de sections que possible, au mieux de vos connaissances et de vos capacités.
Métadonnées de la carte de modèle
Si vous avez exploré un peu le Hub, vous devriez avoir vu que certains modèles appartiennent à certaines catégories : vous pouvez les filtrer par tâches, langues, bibliothèques, et plus encore. Les catégories auxquelles appartient un modèle sont identifiées en fonction des métadonnées que vous ajoutez dans l’en-tête de la fiche du modèle.
Par exemple, si vous regardez la fiche de modèle de camembert-base, vous devriez voir les lignes suivantes dans l’en-tête de la fiche de modèle :
---
language: fr
license: mit
datasets:
- oscar
---Ces métadonnées sont analysées par le Hub qui identifie alors ce modèle comme étant un modèle français, avec une licence MIT, entraîné sur le jeu de données Oscar.
La spécification complète de la carte du modèle permet de spécifier les langues, les licences, les balises, les jeux de données, les mesures, ainsi que les résultats d’évaluation obtenus par le modèle lors de l’entraînement.