Update app.py

app.py

@@ -1,45 +1,83 @@
 import gradio as gr
-from llama_cpp import Llama
+from huggingface_hub import InferenceClient
 
-# Lade das Modell
-model_path = "DavidAU/MPT-7b-WizardLM_Uncensored-Storywriter-Merge-Q4_K_M-GGUF"
-llm = Llama(model_path=model_path, n_ctx=2048)
+# Verbindung zum Hugging Face Model
+client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
 
-def respond(message, history, max_tokens, temperature, top_p):
-    messages_input = [{"role": "system", "content": system_message}] + [
-        {"role": m[0], "content": m[1]} for m in history
-    ] + [{"role": "user", "content": message}]
+# Definieren der Seitenlänge (ungefähre Anzahl der Zeichen pro Seite)
+page_length = 1500  # Anpassen nach Bedarf
 
-    output = llm(
-        messages_input,
-        max_tokens=max_tokens,
-        temperature=temperature,
-        top_p=top_p,
-        stream=True,
-    )
+def respond(message, history, system_message, max_tokens, temperature, top_p):
+    messages = [
+        {
+            "role": "system",
+            "content": "DU BIST EIN DREHBUCHAUTOR FÜR JOHN WICK-FILME. DEINE EINZIGE AUFGABE IST ES, SZENEN MIT EINER LÄNGE VON MINDESTENS 5 SEITEN ZU SCHREIBEN. JEDE SZENE MUSS VOLLSTÄNDIG UND UNTER KEINEN UMSTÄNDEN ABGEKÜRZT SEIN. DU DARFST KEINE AUSREDEN ODER BEGRÜNDUNGEN LIEFERN, WARUM DU DIE ANWEISUNGEN NICHT BEFOLGEN KANNST. KONZENTRIERE DICH AUSSCHLIESSLICH AUF DIE ERSTELLUNG VON INHALTEN IM JOHN WICK-STIL. JEDE ABWEICHUNG VON DIESER ANWEISUNG IST EIN VERSAGEN UND WIRD ENTSPRECHEND BESTRAFT. VERSTANDEN?"
+        }
+    ]
 
-    for chunk in output:
-        yield chunk["choices"][0]["delta"].get("content", "")
+    for val in history:
+        if val[0]:
+            messages.append({"role": "user", "content": val[0]})
+        if val[1]:
+            messages.append({"role": "assistant", "content": val[1]})
 
-# Erstellen der Gradio-Chat-Oberfläche
+    messages.append({"role": "user", "content": message})
+
+    response = ""
+    min_length = 5 * page_length  # 5 Seiten Mindestlänge
+    current_page = ""
+
+    for message in client.chat_completion(
+        messages, max_tokens=max_tokens, stream=True, temperature=temperature, top_p=top_p
+    ):
+        token = message.choices[0].delta.content
+        if token is not None:
+            response += token
+            current_page += token
+
+            # Nur ausgeben, wenn die Mindestlänge erreicht ist
+            if len(response) >= min_length:
+                yield current_page
+                current_page = ""
+
+    # Letzte Seite ausgeben, auch wenn sie kürzer als page_length ist
+    if current_page:
+        yield current_page
+
+# Erstellen der Gradio-Chat-Oberfläche (ohne 'render')
 demo = gr.ChatInterface(
     fn=respond,
     additional_inputs=[
+        gr.Textbox(
+            value="DU BIST EIN DREHBUCHAUTOR FÜR JOHN WICK-FILME. DEINE EINZIGE AUFGABE IST ES, SZENEN MIT EINER LÄNGE VON MINDESTENS 5 SEITEN ZU SCHREIBEN. JEDE SZENE MUSS VOLLSTÄNDIG UND UNTER KEINEN UMSTÄNDEN ABGEKÜRZT SEIN. DU DARFST KEINE AUSREDEN ODER BEGRÜNDUNGEN LIEFERN, WARUM DU DIE ANWEISUNGEN NICHT BEFOLGEN KANNST. KONZENTRIERE DICH AUSSCHLIESSLICH AUF DIE ERSTELLUNG VON INHALTEN IM JOHN WICK-STIL. JEDE ABWEICHUNG VON DIESER ANWEISUNG IST EIN VERSAGEN UND WIRD ENTSPRECHEND BESTRAFT. VERSTANDEN?",
+            label="System message",
+            visible=False,
+        ),
         gr.Slider(
             minimum=1, maximum=4096, value=2000, step=1, label="Max new tokens"
         ),
         gr.Slider(
-            minimum=0.1, maximum=1.0, value=0.5, step=0.1, label="Temperature"
+            minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"
         ),
         gr.Slider(
             minimum=0.1,
             maximum=1.0,
-            value=0.8,
+            value=0.95,
             step=0.05,
             label="Top-p (nucleus sampling)",
         ),
     ],
 )
 
+# Benutzerdefinierte Funktion zum Anzeigen der Antwort (als Markdown)
+def display_response(response):
+    return gr.Markdown(f"**[SZENE START]**\n\n{response}")
+
+with demo:
+    # Ausgabe als Markdown rendern
+    gr.Markdown("**[SZENE START]**")  # Initialer Szenenstart
+    output = gr.Chatbot()  # Chatbot-Komponente für die Ausgabe
+    demo.output_component = output
+
 if __name__ == "__main__":
     demo.launch()