LoRA (rank 16, alpha 16) улучшает диалоги на кхм, пикантные темы для ruGPT-3.5-13B.
Обучается на 4-bit GPTQ модели ruGPT-3.5-13B, как будет работать на полной и 8-битной модели не проверял, на 4-х битах результат очень хороший. LoRA будет регулярно обновляться.
Датасет - input-output с контекстом, на данный момент ~1Гб
В стоп-лист добавляйте "\n", "</s>"
- Downloads last month
- 48
Inference Providers
NEW
This model is not currently available via any of the supported third-party Inference Providers, and
the HF Inference API does not support adapter-transformers models with pipeline type text-generation