readme update
Browse files
README.md
CHANGED
@@ -5,7 +5,8 @@ license: cc-by-nc-sa-4.0
|
|
5 |
[skt/kogpt2-base-v2](https://huggingface.co/skt/kogpt2-base-v2)를 공개된 한국어 대화 데이터셋으로 파인튜닝한 모델입니다.<br/>
|
6 |
- AIHub 주제별대화, 트위터, 감정대화, SNS대화
|
7 |
- 국립국어원 모두의 말뭉치 온라인대화
|
8 |
-
|
|
|
9 |
|
10 |
|
11 |
## 사용예시
|
@@ -33,9 +34,9 @@ generator(
|
|
33 |
결과
|
34 |
- eos_token_id를 '\n'으로 해줘서 짤려야하는데 generation된거 보니 안짤리네요... 이유가 뭘지 ㅠ
|
35 |
```
|
36 |
-
[[{'generated_text': '0 : **는 게임 좋아하니\n1 :
|
37 |
-
[{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 :
|
38 |
-
[{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : 뭘
|
39 |
```
|
40 |
|
41 |
학습에 사용한 하이퍼파라미터
|
|
|
5 |
[skt/kogpt2-base-v2](https://huggingface.co/skt/kogpt2-base-v2)를 공개된 한국어 대화 데이터셋으로 파인튜닝한 모델입니다.<br/>
|
6 |
- AIHub 주제별대화, 트위터, 감정대화, SNS대화
|
7 |
- 국립국어원 모두의 말뭉치 온라인대화
|
8 |
+
- 이전에 제가 만든 [kodialogpt-v0](https://huggingface.co/heegyu/kodialogpt)는 AIHub 주제별대화 8만건 가량만을 이용했지만, 이 모델은 총 170만개의 대화 데이터를 갖고 1에폭 학습시킨 모델입니다.
|
9 |
+
- 학습 코드: https://github.com/HeegyuKim/open-domain-dialog<br/>
|
10 |
|
11 |
|
12 |
## 사용예시
|
|
|
34 |
결과
|
35 |
- eos_token_id를 '\n'으로 해줘서 짤려야하는데 generation된거 보니 안짤리네요... 이유가 뭘지 ㅠ
|
36 |
```
|
37 |
+
[[{'generated_text': '0 : **는 게임 좋아하니\n1 : 응 나는 좋아해\n'}],
|
38 |
+
[{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 : 그게 무슨 일이야 진짜... 어떡해...\n0 : 그러니까 말이야 \n1 : 근데 뭐 그런 사건까지 일어난 거야?\n0 : 아니 그냥 지나가다가 발견했다고 하더라 키키\n'}],
|
39 |
+
[{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : 뭘 잘못한 거야?\n0 : 아니~ 그냥 내가 착각하고 있었나봐\n'}]]
|
40 |
```
|
41 |
|
42 |
학습에 사용한 하이퍼파라미터
|