Commit
•
44641d4
1
Parent(s):
b04e3a0
Create README.md
Browse files
README.md
ADDED
|
@@ -0,0 +1,14 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language:
|
| 3 |
+
- ru
|
| 4 |
+
- en
|
| 5 |
+
pipeline_tag: text-generation
|
| 6 |
+
---
|
| 7 |
+
Original https://huggingface.co/zlsl/ruGPT-3.5-13B-erotic-kink-chat-lora
|
| 8 |
+
LoRA (rank 16, alpha 16) улучшает диалоги на кхм, пикантные темы для ruGPT-3.5-13B.
|
| 9 |
+
|
| 10 |
+
Обучается на 4-bit GPTQ модели ruGPT-3.5-13B, как будет работать на полной и 8-битной модели не проверял, на 4-х битах результат очень хороший. LoRA будет регулярно обновляться.
|
| 11 |
+
|
| 12 |
+
Датасет - input-output с контекстом, на данный момент ~1Гб
|
| 13 |
+
|
| 14 |
+
В стоп-лист добавляйте "\n", "</s>"
|