Update app.py

app.py

@@ -3,6 +3,8 @@ import logging
 import gradio as gr
 from huggingface_hub import InferenceClient
 import os
+import asyncio
+
 
 # 로깅 설정
 logging.basicConfig(level=logging.DEBUG, format='%(asctime)s:%(levelname)s:%(name)s: %(message)s', handlers=[logging.StreamHandler()])
@@ -32,6 +34,7 @@ class MyClient(discord.Client):
         response = await generate_response(message.content, history, system_message, 4000, 0.7, 0.95)
         await message.channel.send(response)
 
+
 # Hugging Face 추론 API를 사용하여 응답 생성
 async def generate_response(user_input, history, system_message, max_tokens, temperature, top_p):
     system_prefix = """
@@ -49,13 +52,13 @@ async def generate_response(user_input, history, system_message, max_tokens, tem
             messages.append({"role": "assistant", "content": val[1]})
     messages.append({"role": "user", "content": user_input})
 
-    try:
-        response = await hf_client.chat_completion(messages, max_tokens=max_tokens, stream=False, temperature=temperature, top_p=top_p)
-        # 올바른 속성에 접근하여 응답 내용을 추출
-        return response.choices[0].text  # 'delta' 대신 'text' 또는 API 문서에 따른 적절한 속성 사용
-    except Exception as e:
-        logging.error(f"An error occurred: {e}")
-        return "오류가 발생했습니다. 다시 시도해 주세요."
+    # 동기 함수를 비동기로 처리하기 위한 래퍼 사용
+    loop = asyncio.get_event_loop()
+    response = await loop.run_in_executor(None, lambda: hf_client.chat_completion(messages, max_tokens=max_tokens, stream=False, temperature=temperature, top_p=top_p))
+    return response['choices'][0]['message']['content']  # 적절한 속성 사용
+
+# 기존 코드는 유지
+
 
 # 디스코드 봇 인스턴스 생성 및 실행
 discord_client = MyClient(intents=intents)