Upload 4 files

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+zephyr-7b-beta.Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text

Dockerfile

@@ -0,0 +1,12 @@
+FROM python:3.9
+
+WORKDIR /code
+
+COPY ./requirements.txt /code/requirements.txt
+
+RUN pip install --no-cache-dir --upgrade -r /code/requirements.txt
+
+COPY ./zephyr-7b-beta.Q4_K_S.gguf /code/zephyr-7b-beta.Q4_K_S.gguf
+COPY ./main.py /code/main.py
+
+CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "7860"]

main.py

@@ -0,0 +1,32 @@
+from ctransformers import AutoModelForCausalLM
+from fastapi import FastAPI
+from pydantic import BaseModel
+
+
+llm = AutoModelForCausalLM.from_pretrained(
+    "zephyr-7b-beta.Q4_K_S.gguf",
+    model_type='llama3',
+    max_new_tokens=3000,
+    threads=5,
+    context_length = 4096)
+
+#Pydantic object
+class validation(BaseModel):
+    prompt: str
+#Fast API
+app = FastAPI()
+
+@app.post("/llm_on_cpu")
+async def stream(item: validation):
+    system_prompt = """Leia o currículo e classifique as entidades no meu estilo.
+Respeite o formato de saída JSON.
+Retorne APENAS O DICIONÁRIO JSON e nada mais. 
+O nome dos campos sempre deve estar em português do Brasil.
+Respeite o nome dos campos. São eles: Nome, Email, Telefone, Localização, Experiência(e suas subchaves são Cargo, Empresa, Descrição, Data de Início e Data de Término), Formação(e suas subchaves são Formação, Instituição e Data de Conclusão) e Conhecimentos(suas subchaves são Conhecimento e Instituição).
+Geralmente a descrição da experiência vem descrita logo após o cargo. Procure e inclua esses dados no campo Descrição de cada Experiência.]
+Acrescente todas as informações que encontrar, todas devem ser classificadas nos seus respectivos campos. Não deixe passar nada.
+Caso não encontre alguma informação, retorne o campo com Null."""
+    E_INST = "</s>"
+    user = "<|user|>"
+    prompt = f"{system_prompt}{E_INST}\n{user}\n{item.prompt}{E_INST}"
+    return llm(prompt)

requirements.txt

@@ -0,0 +1,7 @@
+python-multipart
+fastapi
+pydantic
+uvicorn
+requests
+python-dotenv
+ctransformers

zephyr-7b-beta.Q4_K_S.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cafa0b85b2efc15ca33023f3b87f8d0c44ddcace16b3fb608280e0eb8f425cb1
+size 4140373696