Model Card of vocabtrimmer/mt5-small-trimmed-ja-120000-jaquad-qa
This model is fine-tuned version of vocabtrimmer/mt5-small-trimmed-ja-120000 for question answering task on the lmqg/qg_jaquad (dataset_name: default) via lmqg
.
Overview
- Language model: vocabtrimmer/mt5-small-trimmed-ja-120000
- Language: ja
- Training data: lmqg/qg_jaquad (default)
- Online Demo: https://autoqg.net/
- Repository: https://github.com/asahi417/lm-question-generation
- Paper: https://arxiv.org/abs/2210.03992
Usage
- With
lmqg
from lmqg import TransformersQG
# initialize model
model = TransformersQG(language="ja", model="vocabtrimmer/mt5-small-trimmed-ja-120000-jaquad-qa")
# model prediction
answers = model.answer_q(list_question="新型車両として6000系が構想されたのは、製造費用のほか、どんな費用を抑えるためだったの?", list_context=" 三多摩地区開発による沿線人口の増加、相模原線延伸による多摩ニュータウン乗り入れ、都営地下鉄10号線(現都営地下鉄新宿線、以下新宿線と表記する)乗入構想により、京王線の利用客増加が見込まれ、相当数の車両を準備する必要に迫られるなか、製造費用、保守費用を抑えた新型車両として6000系が構想された。新宿線建設に際してはすでに1号線(後の浅草線)を1,435mm軌間で開業させていた東京都は京成電鉄と1号線との乗り入れにあたり京成電鉄の路線を1,372mmから1,435mmに改軌させた事例や、1,372mm軌間の特殊性から運輸省(当時、2001年から国土交通省)と共に京王にも改軌を求めたが、改軌工事中の輸送力確保が困難なことを理由に改軌しないことで決着している。")
- With
transformers
from transformers import pipeline
pipe = pipeline("text2text-generation", "vocabtrimmer/mt5-small-trimmed-ja-120000-jaquad-qa")
output = pipe("question: 新型車両として6000系が構想されたのは、製造費用のほか、どんな費用を抑えるためだったの?, context: 三多摩地区開発による沿線人口の増加、相模原線延伸による多摩ニュータウン乗り入れ、都営地下鉄10号線(現都営地下鉄新宿線、以下新宿線と表記する)乗入構想により、京王線の利用客増加が見込まれ、相当数の車両を準備する必要に迫られるなか、製造費用、保守費用を抑えた新型車両として6000系が構想された。新宿線建設に際してはすでに1号線(後の浅草線)を1,435mm軌間で開業させていた東京都は京成電鉄と1号線との乗り入れにあたり京成電鉄の路線を1,372mmから1,435mmに改軌させた事例や、1,372mm軌間の特殊性から運輸省(当時、2001年から国土交通省)と共に京王にも改軌を求めたが、改軌工事中の輸送力確保が困難なことを理由に改軌しないことで決着している。")
Evaluation
- Metric (Question Answering): raw metric file
Score | Type | Dataset | |
---|---|---|---|
AnswerExactMatch | 67.2 | default | lmqg/qg_jaquad |
AnswerF1Score | 67.2 | default | lmqg/qg_jaquad |
BERTScore | 96.57 | default | lmqg/qg_jaquad |
Bleu_1 | 62.78 | default | lmqg/qg_jaquad |
Bleu_2 | 0 | default | lmqg/qg_jaquad |
Bleu_3 | 0 | default | lmqg/qg_jaquad |
Bleu_4 | 0 | default | lmqg/qg_jaquad |
METEOR | 50.71 | default | lmqg/qg_jaquad |
MoverScore | 89.66 | default | lmqg/qg_jaquad |
ROUGE_L | 65.3 | default | lmqg/qg_jaquad |
Training hyperparameters
The following hyperparameters were used during fine-tuning:
- dataset_path: lmqg/qg_jaquad
- dataset_name: default
- input_types: ['paragraph_question']
- output_types: ['answer']
- prefix_types: None
- model: vocabtrimmer/mt5-small-trimmed-ja-120000
- max_length: 512
- max_length_output: 32
- epoch: 17
- batch: 32
- lr: 0.001
- fp16: False
- random_seed: 1
- gradient_accumulation_steps: 2
- label_smoothing: 0.15
The full configuration can be found at fine-tuning config file.
Citation
@inproceedings{ushio-etal-2022-generative,
title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
author = "Ushio, Asahi and
Alva-Manchego, Fernando and
Camacho-Collados, Jose",
booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
month = dec,
year = "2022",
address = "Abu Dhabi, U.A.E.",
publisher = "Association for Computational Linguistics",
}
- Downloads last month
- 7
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.
Dataset used to train vocabtrimmer/mt5-small-trimmed-ja-120000-jaquad-qa
Evaluation results
- BLEU4 (Question Answering) on lmqg/qg_jaquadself-reported0.000
- ROUGE-L (Question Answering) on lmqg/qg_jaquadself-reported65.300
- METEOR (Question Answering) on lmqg/qg_jaquadself-reported50.710
- BERTScore (Question Answering) on lmqg/qg_jaquadself-reported96.570
- MoverScore (Question Answering) on lmqg/qg_jaquadself-reported89.660
- AnswerF1Score (Question Answering) on lmqg/qg_jaquadself-reported67.200
- AnswerExactMatch (Question Answering) on lmqg/qg_jaquadself-reported67.200