File size: 3,209 Bytes
60997f6 cae3cdf e56d68e 60997f6 55761b8 cae3cdf ee2ad85 60997f6 a886f8b d39c82b 60997f6 55761b8 60997f6 d39c82b 60997f6 55761b8 d270ce0 60997f6 d39c82b 60997f6 55761b8 d39c82b 55761b8 60997f6 d39c82b 60997f6 55761b8 60997f6 55761b8 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 |
---
datasets:
- alexandreteles/AlpacaToxicQA_ShareGPT
- Nitral-AI/Active_RP-ShareGPT
- PJMixers/hieunguyenminh_roleplay-deduped-ShareGPT
- Nitral-AI/RP_Alignment-ShareGPT
- Chaser-cz/sonnet35-charcard-roleplay-sharegpt
- AiCloser/sharegpt_cot_dataset
- PJMixers/Gryphe_Opus-WritingPrompts-Story2Prompt-ShareGPT
- priveeai/pippa_sharegpt
- Locutusque/sharegpt_gpt4_uncensored_cleaned
- OpenCoder-LLM/opc-sft-stage1
- OpenCoder-LLM/opc-sft-stage2
- microsoft/orca-agentinstruct-1M-v1
- microsoft/orca-math-word-problems-200k
- NousResearch/hermes-function-calling-v1
- AI-MO/NuminaMath-CoT
- AI-MO/NuminaMath-TIR
- allenai/tulu-3-sft-mixture
- cognitivecomputations/dolphin-coder
- HuggingFaceTB/smoltalk
- cognitivecomputations/samantha-data
- m-a-p/CodeFeedback-Filtered-Instruction
- m-a-p/Code-Feedback
base_model:
- NickyNicky/Llama-1B-GRPO_Final
- xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora
- bunnycore/FuseChat-3.2-1B-Creative-RP
- huihui-ai/Llama-3.2-1B-Instruct-abliterated
- prithivMLmods/Bellatrix-Tiny-1B-v3
- cognitivecomputations/Dolphin3.0-Llama3.2-1B
library_name: transformers
tags:
- mergekit
- merge
language:
- es
- en
license: apache-2.0
pipeline_tag: text-generation
---
<center><a href="https://ibb.co/YFCsj2MK"><img src="https://i.ibb.co/pB7FX28s/1559d4be98b5a26edf62ee40695ececc-high.jpg" alt="1559d4be98b5a26edf62ee40695ececc-high" border="0"></a></center>
# Mezcla
*Esta es una mezcla de modelos de lenguaje pre-entrenados creado a partir de [mergekit](https://github.com/cg123/mergekit).*
## Detalles de la mezcla
*Fue creado a partir de los que considero los mejores modelos que he usado de base para mis anteriores creaciones. Cada uno destaca en lo suyo:*
- Roleplay
- GRPO
- Uncensored
- Abliterated
- Gran cantidad de datasets inyectados
### Método de Mezcla
*Este modelo ha sido mezclado usando el método de mezcla [Model Stock](https://arxiv.org/abs/2403.19522) usando [bunnycore/FuseChat-3.2-1B-Creative-RP](https://huggingface.co./bunnycore/FuseChat-3.2-1B-Creative-RP) como base.*
### Modelos Mezclados
*Los siguientes modelos han sido incluidos en la mezcla:*
* [NickyNicky/Llama-1B-GRPO_Final](https://huggingface.co./NickyNicky/Llama-1B-GRPO_Final)
* [xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora](https://huggingface.co./xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora)
* [huihui-ai/Llama-3.2-1B-Instruct-abliterated](https://huggingface.co./huihui-ai/Llama-3.2-1B-Instruct-abliterated)
* [prithivMLmods/Bellatrix-Tiny-1B-v3](https://huggingface.co./prithivMLmods/Bellatrix-Tiny-1B-v3)
* [cognitivecomputations/Dolphin3.0-Llama3.2-1B](https://huggingface.co./cognitivecomputations/Dolphin3.0-Llama3.2-1B)
### Configuración
*La siguiente configuración YAML ha sido usada para producir el modelo:*
```yaml
models:
- model: bunnycore/FuseChat-3.2-1B-Creative-RP
- model: NickyNicky/Llama-1B-GRPO_Final
- model: prithivMLmods/Bellatrix-Tiny-1B-v3
- model: xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora
- model: cognitivecomputations/Dolphin3.0-Llama3.2-1B
- model: huihui-ai/Llama-3.2-1B-Instruct-abliterated
merge_method: model_stock
base_model: bunnycore/FuseChat-3.2-1B-Creative-RP
dtype: bfloat16
parameters:
t: [0, 0.5, 1, 0.5, 0]
``` |