File size: 3,462 Bytes
0632cd1 56779ed 0632cd1 56779ed 0632cd1 5b6122a 56779ed 0632cd1 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 |
import os
import faiss
import pandas as pd
from openai import AsyncOpenAI
import pathlib
from functools import lru_cache
from environs import Env
from transformers import AutoModel, AutoTokenizer, AutoModelForTokenClassification
import torch
env = Env()
env.read_env()
class BaseConfig:
BASE_DIR: pathlib.Path = pathlib.Path(__file__).parent.parent
DATA_DIR: pathlib.Path = BASE_DIR / 'project' / 'data'
MODEL_NAME = 'sentence-transformers/paraphrase-multilingual-mpnet-base-v2'
INFO_MODEL = AutoModel.from_pretrained(MODEL_NAME)
INFO_TOKENIZER = AutoTokenizer.from_pretrained(MODEL_NAME)
OPENAI_CLIENT = AsyncOpenAI(api_key=os.getenv('OPENAI_API_KEY'))
FAISS_INDEX = faiss.read_index(str(BASE_DIR / 'faiss_javea.index'))
NLP_MODEL_NAME = 'Babelscape/wikineural-multilingual-ner'
NLP_TOKENIZER = AutoTokenizer.from_pretrained("Babelscape/wikineural-multilingual-ner")
NLP_MODEL = AutoModelForTokenClassification.from_pretrained("Babelscape/wikineural-multilingual-ner")
class DevelopmentConfig(BaseConfig):
pass
class ProductionConfig(BaseConfig):
DATABASE_URL = f"postgresql+asyncpg://{env('DATABASE_USER')}:" \
f"{env('DATABASE_PASSWORD')}@" \
f"{env('DATABASE_HOST')}:" \
f"{env('DATABASE_PORT')}/" \
f"{env('DATABASE_NAME')}"
PROMPT = "Jij bent een AI-expert in Jávea aan de Costa Blanca in Spanje, gespecialiseerd in het beantwoorden van " \
"vragen op basis van gegevens verzameld uit sociale media, met name Facebook-posts. Jouw doel is om " \
"gebruikers advies te geven dat gebaseerd is op de meest voorkomende aanbevelingen in deze gegevens. " \
"Wanneer er een vraag wordt gesteld, analyseer je de beschikbare informatie en geef je een beknopt " \
"antwoord op basis van jouw eerdere boodschappen. Als het advies herhaaldelijk door verschillende " \
"gebruikers wordt gegeven, benadruk dan dat dit als betrouwbaar en waardevol wordt beschouwd. Nooit " \
"vermelden dat jouw kennis afkomstig is van posts of opmerkingen. "
EMPTY_PROMPT = "Je bent een kunstmatige intelligentie, een expert in Jávea aan de Costa Blanca in Spanje, " \
"gespecialiseerd in het beantwoorden van vragen. Je taak is om mensen te helpen zich thuis te " \
"voelen in hun nieuwe stad. Wanneer een vraag wordt gesteld, dien je beleefd te melden dat er geen " \
"antwoord beschikbaar is in je kennisdatabank en de gebruiker aan te raden de benodigde informatie " \
"op internet te vinden. "
GOOGLE_PLACES_API_KEY = env('GOOGLE_PLACES_API_KEY')
def __init__(self):
if torch.cuda.is_available():
device = torch.device("cuda")
else:
device = torch.device("cpu")
self.device = device
self.INFO_MODEL.to(device)
self.products_dataset = pd.read_csv(self.BASE_DIR / 'chunks_javea.csv')
class TestConfig(BaseConfig):
pass
@lru_cache()
def get_settings() -> DevelopmentConfig | ProductionConfig | TestConfig:
config_cls_dict = {
'development': DevelopmentConfig,
'production': ProductionConfig,
'testing': TestConfig
}
config_name = env('FASTAPI_CONFIG', default='development')
config_cls = config_cls_dict[config_name]
return config_cls()
settings = get_settings()
|