update new tool

app.py

@@ -93,6 +93,31 @@ def search(query: str) -> List[Dict[str, Any]]:
             all_results.append({"link": "N/A", "text": "Không thể thực hiện tìm kiếm."})
     return all_results
 
+def summarize_text(text: str, max_length: int = 150) -> str:
+    """Tóm tắt văn bản sử dụng mô hình Llama."""
+    conversation = [
+        {"role": "user", "content": f"Hãy tóm tắt đoạn văn sau: {text}"}
+    ]
+    input_ids = tokenizer.apply_chat_template(conversation, add_generation_prompt=True, return_tensors="pt")
+    input_ids = input_ids.to(device)
+    
+    summary_streamer = TextIteratorStreamer(tokenizer, timeout=20.0, skip_prompt=True, skip_special_tokens=True)
+    summary_kwargs = {
+        "input_ids": input_ids,
+        "streamer": summary_streamer,
+        "max_new_tokens": max_length,
+        "do_sample": True,
+        "top_p": 0.95,
+        "temperature": 0.7,
+    }
+    t = Thread(target=model.generate, kwargs=summary_kwargs)
+    t.start()
+    
+    summary = ""
+    for new_text in summary_streamer:
+        summary += new_text
+    return summary
+
 def generate_response(prompt: str, chat_history: List[Tuple[str, str]], max_new_tokens: int, temperature: float, top_p: float, top_k: int, repetition_penalty: float) -> Iterator[str]:
     """
     Tạo phản hồi sử dụng mô hình Llama cục bộ theo chế độ streaming.
@@ -143,8 +168,8 @@ def process_query(query: str) -> Dict[str, Any]:
     # Định nghĩa các từ khóa hoặc mẫu để xác định hàm
     web_search_keywords = ["tìm kiếm", "tìm", "tra cứu", "google", "lookup"]
     general_query_keywords = ["giải thích", "mô tả", "nói cho tôi biết về", "cái gì là", "cách nào"]
-    # Bất kỳ truy vấn nào khác sẽ được xử lý như hard_query
-    
+    summarize_keywords = ["tóm tắt", "tóm lại", "khái quát", "ngắn gọn"]
+
     query_lower = query.lower()  # Chuyển truy vấn thành chữ thường để so sánh
     
     if any(keyword in query_lower for keyword in web_search_keywords):
@@ -153,6 +178,9 @@ def process_query(query: str) -> Dict[str, Any]:
     elif any(keyword in query_lower for keyword in general_query_keywords):
         function_name = "general_query"
         arguments = {"prompt": query}
+    elif any(keyword in query_lower for keyword in summarize_keywords):
+        function_name = "summarize_query"
+        arguments = {"prompt": query}
     else:
         function_name = "hard_query"
         arguments = {"prompt": query}
@@ -184,6 +212,15 @@ def handle_functions(function_call: Dict[str, Any], prompt: str, chat_history: L
         # Trả về kết quả tìm kiếm cho người dùng
         yield "📄 **Kết quả tìm kiếm:**\n" + web_summary
     
+    elif function_name == "summarize_query":
+        prompt_text = arguments["prompt"]
+        yield "📝 Đang tóm tắt thông tin..."
+        # Trích xuất thông tin cần tóm tắt từ prompt (giả định phần tóm tắt nằm sau từ khóa)
+        # Ví dụ: "tóm tắt nội dung về AI"
+        # Bạn có thể cải thiện logic này tùy theo cách bạn muốn trích xuất nội dung để tóm tắt
+        summary = summarize_text(prompt_text)
+        yield "📄 **Tóm tắt:**\n" + summary
+    
     elif function_name in ["general_query", "hard_query"]:
         prompt_text = arguments["prompt"]
         yield "🤖 Đang tạo phản hồi..."
@@ -205,7 +242,7 @@ def handle_functions(function_call: Dict[str, Any], prompt: str, chat_history: L
 
 # ---------------------------- Giao Diện Gradio ---------------------------- #
 
-@spaces.GPU(duration=60, queue=False)
+@spaces.GPU(duration=90)
 def generate(
     message: str,
     chat_history: List[Tuple[str, str]],
@@ -218,9 +255,22 @@ def generate(
     """
     Hàm chính để xử lý đầu vào của người dùng và tạo phản hồi.
     """
+    # Thông báo về việc phân tích đầu vào
+    yield "🔍 Đang phân tích truy vấn của bạn..."
+    
     # Xác định hàm nào sẽ được gọi dựa trên tin nhắn của người dùng
     function_call = process_query(message)
     
+    # Thông báo về hàm được chọn
+    if function_call["name"] == "web_search":
+        yield "🛠️ Đã chọn chức năng: Tìm kiếm trên web."
+    elif function_call["name"] == "summarize_query":
+        yield "🛠️ Đã chọn chức năng: Tóm tắt văn bản."
+    elif function_call["name"] in ["general_query", "hard_query"]:
+        yield "🛠️ Đã chọn chức năng: Trả lời câu hỏi."
+    else:
+        yield "⚠️ Không thể xác định chức năng phù hợp."
+    
     # Xử lý lời gọi hàm và sinh phản hồi tương ứng
     response_iterator = handle_functions(
         function_call=function_call,
@@ -245,9 +295,10 @@ EXAMPLES = [
     ["Viết một bài báo 100 từ về 'Lợi ích của mã nguồn mở trong nghiên cứu AI'"],
     ["Tìm và cung cấp cho tôi tin tức mới nhất về năng lư���ng tái tạo."],
     ["Tìm thông tin về Rạn san hô Great Barrier Reef."],
+    ["Tóm tắt nội dung về trí tuệ nhân tạo."],
 ]
 
-# Cấu hình giao diện trò chuyện của Gradio
+# Cấu hình giao diện trò chuyện của Gradio với giao diện đẹp mắt
 chat_interface = gr.ChatInterface(
     fn=generate,  # Hàm được gọi khi có tương tác từ người dùng
     additional_inputs=[
@@ -290,10 +341,27 @@ chat_interface = gr.ChatInterface(
     stop_btn=None,  # Không có nút dừng
     examples=EXAMPLES,  # Các ví dụ được hiển thị cho người dùng
     cache_examples=False,  # Không lưu bộ nhớ cache cho các ví dụ
+    title="🤖 OpenGPT-4o Chatbot",
+    description="Một trợ lý AI mạnh mẽ sử dụng mô hình Llama-3.2 cục bộ với các chức năng tìm kiếm web và tóm tắt văn bản.",
+    theme="default",  # Có thể thay đổi theme để giao diện đẹp hơn
 )
 
-# Tạo giao diện chính của Gradio
-with gr.Blocks(css="style.css", fill_height=True) as demo:
+# Tạo giao diện chính của Gradio với CSS tùy chỉnh
+with gr.Blocks(css="""
+    .gradio-container {
+        background-color: #f0f2f5;
+    }
+    .gradio-container h1 {
+        color: #4a90e2;
+    }
+    .gradio-container .gr-button {
+        background-color: #4a90e2;
+        color: white;
+    }
+    .gradio-container .gr-slider__label {
+        color: #333333;
+    }
+""", fill_height=True) as demo:
     gr.Markdown(DESCRIPTION)  # Hiển thị mô tả
     gr.DuplicateButton(value="Nhân bản Không gian để sử dụng riêng tư", elem_id="duplicate-button")  # Nút nhân bản không gian
     chat_interface.render()  # Hiển thị giao diện trò chuyện

style.css

@@ -8,4 +8,18 @@ h1 {
     color: #fff;
     background: #1565c0;
     border-radius: 100vh;
-  }
+  }
+
+.gradio-container {
+    background-color: #f0f2f5;  /* Màu nền nhẹ nhàng */
+}
+.gradio-container h1 {
+    color: #4a90e2;  /* Màu xanh dương cho tiêu đề */
+}
+.gradio-container .gr-button {
+    background-color: #4a90e2;  /* Màu xanh dương cho nút */
+    color: white;  /* Màu chữ trắng trên nút */
+}
+.gradio-container .gr-slider__label {
+    color: #333333;  /* Màu chữ đen cho nhãn slider */
+}