File size: 2,280 Bytes
7249294 cc93a35 44b82a2 cc93a35 5eaf3f2 cc93a35 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 |
# GPT-2 Fine-tuning With Vietnamese Six Eight Poems
## Model description
This is a Vietnamese GPT-2 Six Eight Poet Model which is trained on the 10mb of Six Eight poems dataset, based on the Vietnamese Wiki GPT2 pretrained model (https://huggingface.co./danghuy1999/gpt2-viwiki)
## Purpose
This model was made only for fun and experimental study
## Dataset
The dataset is about 10k lines of Vietnamese Six Eight poems
## Result
- Train Loss: 2.7
- Val loss: 4.5
## How to use
You can use this model to generate Six Eight poems given any starting words
## Example
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tokenizer = AutoTokenizer.from_pretrained("tuanle/GPT2_Poet")
model = AutoModelForCausalLM.from_pretrained("tuanle/GPT2_Poet").to(device)
text = "hỏi rằng nàng"
input_ids = tokenizer.encode(text, return_tensors='pt').to(device)
min_length = 60
max_length = 100
sample_outputs = model.generate(input_ids,pad_token_id=tokenizer.eos_token_id,
do_sample=True,
max_length=max_length,
min_length=min_length,
# temperature = .8,
# top_k= 100,
top_p = 0.8,
num_beams= 10,
# early_stopping=True,
no_repeat_ngram_size= 2,
num_return_sequences= 3)
for i, sample_output in enumerate(sample_outputs):
print(">> Generated text {}\n\n{}".format(i+1, tokenizer.decode(sample_output.tolist(), skip_special_tokens=True)))
print('\n---')
```
## Demo
- Input: "hỏi rằng nàng"
- Output:
hỏi rằng nàng đã nói ra\
cớ sao nàng lại hỏi han sự tình\
vân tiên nói lại những lời\
thưa rằng ở chốn am mây một mình\
từ đây mới biết rõ ràng\
ở đây cũng gặp một người ở đây\
hai người gặp lại gặp nhau\
thấy lời nàng mới hỏi tra việc này\
nguyệt nga hỏi việc bấy lâu\
khen rằng đạo sĩ ở đầu cửa thiền
|