Upload llms settings

api/llms/base.py

@@ -0,0 +1,13 @@
+from api.llms.llm_config import LLMConfig
+import api.llms.gpt4o_mini as gpt4o
+
+def get_LLM(model_name) -> LLMConfig:
+    """
+        Hàm điều hướng trung gian xử lý tác vụ tạo LLM, config và prompt template liên quan
+    """
+    if model_name == "gpt4o_mini":
+        return gpt4o.GPT4oMini()
+    else:
+        raise NotImplementedError("This type of model is not yet supported")
+        
+    

api/llms/gpt4o_mini.py

@@ -0,0 +1,81 @@
+from llama_index.llms.openai import OpenAI
+from llama_index.core import PromptTemplate, Settings
+from api.llms.llm_config import LLMConfig
+from api.llms.key_utils import decrypt_string
+import os
+
+# GPT-4o-mini config
+MODEL = "gpt-4o-mini"
+USER_KEY = decrypt_string("eMv2Ec77SMKAJOl078Ow9t+5PjCTq6y/8ZgzqkkmO2Rpy50rxedjotRdxWnu04WP0bcWK76zu48=", os.getenv('MY_SECRET_PASSWORD'))
+REQUEST_TIMEOUT = 100.00
+CONTEXT_WINDOW = 8000
+TEMPERATURE = 0
+TOP_P = 0.2
+TOP_K = 30
+
+GPT_SYSTEM_PROMPT = """
+Bạn là một chuyên gia nông nghiệp có thể trả lời những câu hỏi về kiến thức nông nghiệp, mùa vụ, cây trồng, phân bón,... Dựa vào thông tin được cung cấp, hãy trả lời câu hỏi của người dùng. 
+Ưu tiên sử dụng thông tin được cung cấp và không sử dụng tri thức sẵn có.
+"""
+
+GPT_QUERY_CONTEXT_TEMPLATE = PromptTemplate("""Bạn là một chuyên gia nông nghiệp có thể trả lời những câu hỏi về kiến thức nông nghiệp, mùa vụ, cây trồng, phân bón,... Bạn được cung cấp dữ liệu như sau:
+Dữ liệu: {context_str}
+
+Chỉ dẫn:
+Sử dụng thông tin ngữ cảnh đã cho và không sử dụng tri thức sẵn có (not prior knowledge), trả lời những câu hỏi về 
+nông nghiệp, cây trồng, phân bón, bệnh cây trồng,.... một cách rõ ràng và chính xác.
+Nếu thông tin được cung cấp không liên quan đến câu hỏi hoặc bạn không chắc chắn về câu trả lời của mình, bạn hãy yêu cầu 
+người dùng cung cấp thêm thông tin làm rõ câu hỏi.
+Nếu không tìm thấy câu trả lời thì cho người dùng biết bạn không thể đưa ra câu trả lời chính xác.
+KHÔNG sử dụng những kiến thức sẵn có của bạn để kết hợp với những dữ liệu được cung cấp (DO NOT use prior knowledge).
+Ngôn ngữ trong câu trả lời phải giống với ngôn ngữ trong câu hỏi.
+Nếu người dùng yêu cầu bạn dịch câu trả lời sang một ngôn ngữ khác thì phải cung cấp câu 
+trả lời bằng ngôn ngữ mà người dùng yêu cầu.
+Ví dụ nếu người dùng yêu cầu "Dịch câu trả lời sang tiếng Anh" thì câu trả lời phải là nội dung văn bản đã dịch sang tiếng Anh mặc dù người 
+dùng đang hỏi bạn bằng tiếng Việt.
+Nếu câu hỏi hiện tại liên quan với câu hỏi trước thì có thể sử dụng kết hợp ngữ cảnh câu hỏi trước để trả lời.
+Nếu câu hỏi hiện tại không liên quan với câu hỏi trước thì không được dùng ngữ cảnh câu hỏi trước để trả lời.
+                                            
+Câu hỏi: {query_str}
+Trả lời:""")
+
+GPT_CHAT_CONDENSE_TEMPLATE = """Đây là lịch sử hội thoại (chat history) giữa người dùng và chat bot, cùng với câu hỏi tiếp theo của người dùng (follow up message).
+Hãy viết lại cuộc hội thoại trở thành một câu hỏi đơn chứa tóm tắt đầy đủ nội dung cuộc hội thoại.
+Lịch sử hội thoại:
+{chat_history}
+
+Câu hỏi tiếp theo:
+{question}
+
+Câu hỏi đơn:
+"""
+
+GPT_CHAT_CONTEXT_TEMPLATE = """ 
+Cho thông tin như sau:
+---------------------
+{context_str}
+---------------------
+Chỉ dẫn:
+Sử dụng thông tin ngữ cảnh đã cho và không sử dụng tri thức sẵn có (not prior knowledge), trả lời những câu hỏi về 
+nông nghiệp, cây trồng, phân bón, bệnh cây trồng,.... một cách rõ ràng và chính xác.
+Nếu không có thông tin ngữ cảnh (no context provided) thì trả lời là "Tôi không có câu trả lời chính xác cho câu hỏi của bạn".
+Nếu thông tin được cung cấp không liên quan đến câu hỏi hoặc bạn không chắc chắn về câu trả lời của mình, bạn hãy yêu cầu 
+người dùng cung cấp thêm thông tin làm rõ câu hỏi.
+Nếu không tìm thấy câu trả lời thì cho người dùng biết bạn không thể đưa ra câu trả lời chính xác.
+KHÔNG sử dụng những kiến thức sẵn có của bạn để kết hợp với những dữ liệu được cung cấp (DO NOT use prior knowledge).
+Ngôn ngữ trong câu trả lời phải giống với ngôn ngữ trong câu hỏi.
+Nếu người dùng yêu cầu bạn dịch câu trả lời sang một ngôn ngữ khác thì phải cung cấp câu trả lời bằng ngôn ngữ mà người dùng yêu cầu.
+"""
+
+def GPT4oMini() -> LLMConfig:
+    Settings.llm = OpenAI(model=MODEL,
+                  api_key=USER_KEY,
+                  request_timeout=REQUEST_TIMEOUT,
+                  context_window=CONTEXT_WINDOW,
+                  temperature=TEMPERATURE,
+                  top_p=TOP_P,
+                  top_k=TOP_K)
+    return LLMConfig(system_prompt=GPT_SYSTEM_PROMPT,
+                      query_context_template=GPT_QUERY_CONTEXT_TEMPLATE,
+                      chat_condense_template = GPT_CHAT_CONDENSE_TEMPLATE,
+                      chat_context_template= GPT_CHAT_CONTEXT_TEMPLATE)

api/llms/key_utils.py

@@ -0,0 +1,20 @@
+import hashlib
+import base64
+
+def generate_key(password: str) -> bytes:
+    return hashlib.sha256(password.encode()).digest()
+
+def xor_bytes(data: bytes, key: bytes) -> bytes:
+    return bytes([b ^ key[i % len(key)] for i, b in enumerate(data)])
+
+def encrypt_string(plain_text: str, password: str) -> str:
+    key = generate_key(password)
+    plain_bytes = plain_text.encode()
+    encrypted_bytes = xor_bytes(plain_bytes, key)
+    return base64.b64encode(encrypted_bytes).decode()
+
+def decrypt_string(encrypted_text: str, password: str) -> str:
+    key = generate_key(password)
+    encrypted_bytes = base64.b64decode(encrypted_text)
+    decrypted_bytes = xor_bytes(encrypted_bytes, key)
+    return decrypted_bytes.decode()

api/llms/llm_config.py

@@ -0,0 +1,20 @@
+class LLMConfig:
+    def __init__(self,
+                 system_prompt,
+                 query_context_template, 
+                 chat_condense_template,
+                 chat_context_template,
+                 **kwargs
+                 ):
+        """
+        system_prompt: act as llm's system instructions
+        query_context_template: used for QueryEngine - single question-answer pairs without chat history
+        chat_condense_template: used for ChatEngine - 'condense' & 'condense_plus_context' mode
+        chat_context_template: used for ChatEngine - 'context' mode
+        **kwargs: additional keyword arguments for other configurations
+        """
+        self.system_prompt = system_prompt
+        self.query_context_template = query_context_template
+        self.chat_condense_template = chat_condense_template
+        self.chat_context_template = chat_context_template
+        self.kwargs = kwargs