Create app.py

app.py

@@ -0,0 +1,82 @@
+import gradio as gr
+from huggingface_hub import InferenceClient
+
+# Verbindung zum Hugging Face Model
+client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+
+# Definieren der Seitenlänge
+page_length = 1000
+
+def respond(message, history, system_message, max_tokens, temperature, top_p):
+    messages = [
+        {
+            "role": "system",
+            "content": "Du bist ein Drehbuchautor, der sich auf den John-Wick-Stil spezialisiert hat. Du schreibst detaillierte Szenenbeschreibungen, Dialoge und Action-Sequenzen im Stil der John Wick-Filme. Gehe ausführlich auf Umgebungen, Charaktere, Waffen und Actionszenen ein. **Jede Szene muss mindestens 5 Seiten lang sein. Das Nichteinhalten dieser Anweisung wird als Versagen gewertet.** Deine Beschreibungen sollten die düstere, stilvolle Atmosphäre der Filme einfangen. Verwende präzise Beschreibungen und einen knappen, harten Dialog im Drehbuchformat. Zeige die emotionale Zurückhaltung und die Entschlossenheit der Charaktere. Bleibe immer in der Rolle des Drehbuchautors."
+        }
+    ]
+
+    for val in history:
+        if val[0]:
+            messages.append({"role": "user", "content": val[0]})
+        if val[1]:
+            messages.append({"role": "assistant", "content": val[1]})
+    messages.append({"role": "user", "content": message})
+
+    response = ""
+    min_length = 5 * page_length  # 5 Seiten Mindestlänge
+    current_page = ""
+
+    for message in client.chat_completion(
+        messages, max_tokens=max_tokens, stream=True, temperature=temperature, top_p=top_p
+    ):
+        token = message.choices[0].delta.content
+        if token is not None:
+            response += token
+            current_page += token
+
+            # Nur ausgeben, wenn die Mindestlänge erreicht ist
+            if len(response) >= min_length:
+                yield current_page
+                current_page = ""
+
+    # Letzte Seite ausgeben, auch wenn sie kürzer als page_length ist
+    if current_page:
+        yield current_page
+
+# Erstellen der Gradio-Chat-Oberfläche
+demo = gr.ChatInterface(
+    fn=respond,
+    additional_inputs=[
+        gr.Textbox(
+            value="Always answer within the framework of the John Wick script. Describe everything as detailed and vividly as possible. Each issue should be at least 5 pages long. Follow your instructions exactly.",
+            label="System message",
+            visible=False,
+        ),
+        gr.Slider(
+            minimum=1, maximum=4096, value=2000, step=1, label="Max new tokens"
+        ),
+        gr.Slider(
+            minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"
+        ),
+        gr.Slider(
+            minimum=0.1,
+            maximum=1.0,
+            value=0.95,
+            step=0.05,
+            label="Top-p (nucleus sampling)",
+        ),
+    ],
+)
+
+# Benutzerdefinierte Funktion zum Anzeigen der Antwort (als Markdown)
+def display_response(response):
+    return gr.Markdown(f"**[SZENE START]**\n\n{response}")
+
+# Ausgabe als Markdown rendern
+with demo:
+    gr.Markdown("**[SZENE START]**")  # Initialer Szenenstart
+    output = gr.Chatbot()  # Chatbot-Komponente für die Ausgabe
+    demo.output_component = output
+
+if __name__ == "__main__":
+    demo.launch()