Subida del modelo ajustado con 1 capas, hidden_size=2 y vocab_size=50259 y README.md

README.md

@@ -0,0 +1,55 @@
+
+---
+language: en
+license: apache-2.0
+tags:
+ - text-generation
+ - gpt2
+library_name: transformers
+pipeline_tag: text-generation
+---
+# Modelo Ajustado para Generación de Texto
+
+Este modelo ha sido ajustado a partir de `gpt2` con la siguiente configuración:
+
+- Número de capas ocultas: 1
+- Tamaño de la capa oculta: 2
+- Tamaño del vocabulario: 50259
+
+**Importante:** Este modelo utiliza la arquitectura base de `gpt2` y **ha eliminado capas internas**. El modelo original tenía 12 capas, **y ahora tiene solo 1 capa oculta**. Además, se han añadido nuevos tokens al vocabulario y sus embeddings han sido inicializados.
+
+Se puede utilizar para tareas de generación de texto.
+
+## Uso
+
+Para usar este modelo, primero debes tener instalada la librería `transformers`. Puedes instalarla usando pip:
+
+
+pip install transformers
+
+
+Una vez instalada, puedes cargar y usar el modelo de la siguiente manera:
+
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+repo_name = "lilmeaty/text-gen-example-one-layer"
+model = AutoModelForCausalLM.from_pretrained(repo_name)
+tokenizer = AutoTokenizer.from_pretrained(repo_name)
+
+prompt = "Escribe una breve historia sobre un robot que aprende a amar."
+input_ids = tokenizer.encode(prompt, return_tensors="pt")
+
+output = model.generate(
+    input_ids,
+    max_length=100,
+    num_return_sequences=1,
+    no_repeat_ngram_size=2,
+    top_k=50,
+    top_p=0.95,
+    temperature=0.7,
+    do_sample=True
+)
+
+generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
+print(generated_text)
+        

added_tokens.json

@@ -0,0 +1,4 @@
+{
+  "[SPECIAL1]": 50257,
+  "[SPECIAL2]": 50258
+}

config.json

@@ -0,0 +1,39 @@
+{
+  "_name_or_path": "gpt2",
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 50256,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 50256,
+  "initializer_range": 0.02,
+  "intermediate_size": 8,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 1024,
+  "n_embd": 2,
+  "n_head": 1,
+  "n_inner": null,
+  "n_layer": 1,
+  "n_positions": 1024,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "task_specific_params": {
+    "text-generation": {
+      "do_sample": true,
+      "max_length": 50
+    }
+  },
+  "transformers_version": "4.47.1",
+  "use_cache": true,
+  "vocab_size": 50259
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 50256,
+  "eos_token_id": 50256,
+  "transformers_version": "4.47.1"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ded1a55fb9c92fbed8902f0599ef164a0bf632949cedde9a3c65b83d476f7cf5
+size 185900592

special_tokens_map.json

@@ -0,0 +1,22 @@
+{
+  "additional_special_tokens": [
+    {
+      "content": "[SPECIAL1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false
+    },
+    {
+      "content": "[SPECIAL2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false
+    }
+  ],
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "pad_token": "<|endoftext|>",
+  "unk_token": "<|endoftext|>"
+}

tokenizer_config.json

@@ -0,0 +1,41 @@
+{
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "50256": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50257": {
+      "content": "[SPECIAL1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50258": {
+      "content": "[SPECIAL2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "additional_special_tokens": [
+    "[SPECIAL1]",
+    "[SPECIAL2]"
+  ],
+  "bos_token": "<|endoftext|>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|endoftext|>",
+  "extra_special_tokens": {},
+  "model_max_length": 1024,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "GPT2Tokenizer",
+  "unk_token": "<|endoftext|>"
+}