Модель для генерации легкой эротики Неплохо держит конекст, параметры для старта:
do_sample: true
top_p: 0.96
top_k: 14
temperature: 0.88 # Выше 1.2 - будет сильно уходить от контекста
repetition_penalty: 1.16
encoder_repetition_penalty: 1.09-1.15
typical_p: 1.0
Для пользователей text-generation-webui
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
Ошибка такая:
eos_token_id = eos_token_id[0] IndexError: list index out of range
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer
- Downloads last month
- 115
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.