lilmeaty/text-gen-example-one-layer

Modelo Ajustado para Generación de Texto

Este modelo ha sido ajustado a partir de gpt2 con la siguiente configuración:

• Número de capas ocultas: 1
• Tamaño de la capa oculta: 2
• Tamaño del vocabulario: 50259

Importante: Este modelo utiliza la arquitectura base de gpt2 y ha reducido su tamaño. El modelo original tenía 12 capas, y ahora tiene solo 1 capa oculta. Además, la dimensión de los embeddings y las capas internas se ha ajustado a 2. Se han añadido nuevos tokens al vocabulario y sus embeddings han sido inicializados.

Se puede utilizar para tareas de generación de texto.

Uso

Para usar este modelo, primero debes tener instalada la librería transformers. Puedes instalarla usando pip:

pip install transformers

Una vez instalada, puedes cargar y usar el modelo de la siguiente manera:

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_name = "lilmeaty/text-gen-example-one-layer"
model = AutoModelForCausalLM.from_pretrained(repo_name)
tokenizer = AutoTokenizer.from_pretrained(repo_name)

prompt = "Escribe una breve historia sobre un robot que aprende a amar."
input_ids = tokenizer.encode(prompt, return_tensors="pt")

output = model.generate(
    input_ids,
    max_length=100,
    num_return_sequences=1,
    no_repeat_ngram_size=2,
    top_k=50,
    top_p=0.95,
    temperature=0.7,
    do_sample=True
)

generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)