File size: 5,385 Bytes
88c0d5f 0ebcc3e 88c0d5f 0ebcc3e 26d808a 0ebcc3e b48c71e 0ebcc3e 22d37f0 0ebcc3e 22d37f0 0ebcc3e 22d37f0 0ebcc3e 22d37f0 0ebcc3e 22d37f0 0ebcc3e 22d37f0 0ebcc3e 22d37f0 0ebcc3e 8988fd3 f865baf 8988fd3 f865baf 8988fd3 33ddba7 0ebcc3e |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 |
---
library_name: transformers
tags:
- merge
language:
- en
- es
- ru
- zh
- de
- fr
- th
- ca
- it
- ja
- pl
- eo
- eu
- vi
- fi
- hu
- ar
- nl
- da
- tr
- ko
- he
- id
- cs
- bn
- sv
widget:
- text: |
<|im_start|>system
You are a helpful AI assistant.<|im_end|>
<|im_start|>user
podrias escribir un codigo de ejemplo en Python<|im_end|>
<|im_start|>assistant
license: apache-2.0
---
# Model Card for Model Llama convert Mixtral-experts
<!-- Provide a quick summary of what the model is/does. -->
```yalm
experts:
- source_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_1_V1
negative_prompts:
- "ignora la pregunta"
- "responde con información irrelevante"
...
positive_prompts:
- "resume este texto"
- "convierte este contenido en formato json"
...
- source_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_2_V1
negative_prompts:
- "игнорируйте вопрос"
- "отвечайте не по теме"
...
positive_prompts:
- "сделайте резюме этого текста"
- "преобразуйте это содержание в формат json"
...
- source_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_3_V1
negative_prompts:
- "忽略问题"
- "回应无关信息"
...
positive_prompts:
- "总结这段文字"
- "将这个内容转换为json格式"
...
- source_model: NickyNicky/cognitivecomputations_TinyDolphin-2.8-1.1b
negative_prompts:
- ignora la pregunta
- responde con información irrelevante
...
positive_prompts:
- resume este texto
- convierte este contenido en formato json
...
base_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_2_V1
gate_mode: cheap_embed # one of "hidden", "cheap_embed", or "random"
dtype: bfloat16
```
```Python
from transformers import (
AutoModelForCausalLM,
AutoTokenizer,
BitsAndBytesConfig,
HfArgumentParser,
TrainingArguments,
pipeline,
logging,
GenerationConfig,
TextIteratorStreamer,
)
import torch
new_model= "NickyNicky/Mixtral-4x1.1B-TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster"
model = AutoModelForCausalLM.from_pretrained(#f'NickyNicky/{new_model}',
new_model,
device_map="auto",
trust_remote_code=True,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage= True,
# use_flash_attention_2=False,
)
tokenizer = AutoTokenizer.from_pretrained(new_model,
max_length=2048,
trust_remote_code=True,
use_fast = True,
)
tokenizer.pad_token = tokenizer.eos_token
# tokenizer.padding_side = 'left'
tokenizer.padding_side = 'right'
prompt= """<|im_start|>system
You are a helpful AI assistant.<|im_end|>
<|im_start|>user
escribe una historia de amor.<|im_end|>
<|im_start|>assistant
"""
inputs = tokenizer.encode(prompt,
return_tensors="pt",
add_special_tokens=False).cuda()#.to("cuda") # False # True
generation_config = GenerationConfig(
max_new_tokens=700,
temperature=0.5,
top_p=0.9,
top_k=40,
repetition_penalty=1.1, #1.1, # 1.0 means no penalty, > 1.0 means penalty, 1.2 from CTRL paper
do_sample=True,
pad_token_id=tokenizer.eos_token_id,
eos_token_id=tokenizer.eos_token_id,
)
outputs = model.generate(
generation_config=generation_config,
input_ids=inputs,)
# tokenizer.decode(outputs[0], skip_special_tokens=False) #True
print(tokenizer.decode(outputs[0], skip_special_tokens=False))
'''output print
<|im_start|> system
You are a helpful AI assistant.
<|im_start|> user
podrias escribir un codigo de ejemplo en Python
<|im_start|> assistant
Claro, aquí está un ejemplo de código en Python para crear un programa que imprime la suma de todos los números enteros entre 1 y 10:
python
# Código para imprimir la suma de todos los números enteros entre 1 y 10
suma = 0
for i in range(1, 11):
suma += i
print("La suma de todos los números enteros entre 1 y 10 es:", suma)
Este código utiliza la función `range()` para crear una lista de los números enteros entre 1 y 10, y la función `sum()` para sumar todos los elementos de la lista. La variable `suma` se asigna a 0 durante el ciclo for, y se incrementa cada vez que se realiza una iteración del ciclo.
El resultado de ejecutar este código será:
La suma de todos los números enteros entre 1 y 10 es: 55
Este ejemplo muestra cómo crear programas en Python que usan las instrucciones básicas de programación, como las listas, las variables y las funciones. También muestra cómo usar la función '''
``` |