add base app

.dockerignore

@@ -0,0 +1,11 @@
+__pycache__
+*.pyc
+*.pyo
+*.pyd
+.Python
+.env*
+.cache
+*.log
+.git*
+scripts
+archive

.gitignore

@@ -0,0 +1,137 @@
+.python-version
+/.vscode/
+*.code-workspace
+todo.txt
+*.ipynb
+.env
+.DS_Store
+
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+pip-wheel-metadata/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+.python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/

.streamlit/config.toml

@@ -0,0 +1,6 @@
+[theme]
+primaryColor="#E3371E"
+backgroundColor="#F2E8DF"
+secondaryBackgroundColor="#FFCB9A"
+textColor="#4C5958"
+font="sans serif"

Dockerfile

@@ -0,0 +1,19 @@
+FROM python:3.7
+
+WORKDIR /home
+
+# dont write pyc files
+# dont buffer to stdout/stderr
+ENV PYTHONDONTWRITEBYTECODE 1
+ENV PYTHONUNBUFFERED 1
+
+COPY ./requirements.txt /home/requirements.txt
+
+# dependencies
+RUN pip install --upgrade pip setuptools wheel \
+    && pip install -r requirements.txt \
+    && rm -rf /root/.cache/pip
+
+# COPY ./ /usr/src/app
+
+RUN pip install -U scikit-learn umap-learn hdbscan matplotlib japanize-matplotlib ipympl plotly

app.py

@@ -0,0 +1,31 @@
+import streamlit as st
+import json
+import subprocess
+
+# タイトルの設定
+st.title("Settings Configuration")
+
+# 設定ファイルのパス
+config_file_path = 'settings.json'
+
+# 設定入力用のフォームを作成
+with st.form("settings_form"):
+    st.write("Please enter the configuration settings:")
+    ngrok_authtoken = st.text_input("NGROK_AUTHTOKEN")
+    line_access_token = st.text_input("LINE_ACCESS_TOKEN")
+    line_channel_secret = st.text_input("LINE_CHANNEL_SECRET")
+    submitted = st.form_submit_button("Submit")
+
+    # フォームが送信された場合、入力された設定をJSONファイルとして保存
+    if submitted:
+        settings = {
+            "NGROK_AUTHTOKEN": ngrok_authtoken,
+            "LINE_ACCESS_TOKEN": line_access_token,
+            "LINE_CHANNEL_SECRET": line_channel_secret
+        }
+        with open(config_file_path, 'w') as config_file:
+            json.dump(settings, config_file, indent=4)
+
+        st.success("Settings saved successfully!")
+        # `main.py`をサブプロセスとして起動
+        subprocess.run(["python", "main.py"])

config_loader.py

@@ -0,0 +1,17 @@
+# config_loader.py
+import json  # jsonモジュールをインポートします。これによりJSON形式のファイルを扱うことができます。
+
+# ConfigLoaderという名前のクラスを定義します。
+class ConfigLoader:
+    # クラスの初期化メソッドです。インスタンスが作成されるときに自動的に呼び出されます。
+    def __init__(self, file_name):
+        self.file_name = file_name  # file_nameという引数をインスタンス変数に代入します。
+        self.settings = self.load_settings()  # load_settingsメソッドを呼び出して、設定を読み込みます。
+
+    # 設定をファイルから読み込むメソッドです。
+    def load_settings(self):
+        # ファイルを読み込むコンテキストを開始します。'r'は読み込みモードを意味します。
+        with open(self.file_name, 'r') as file:
+            # json.loadを使って、開いたファイルの内容をJSONとして読み込みます。
+            # 読み込んだデータはPythonの辞書形式に変換されます。
+            return json.load(file)

docker-compose.yml

@@ -0,0 +1,12 @@
+version: '3.7'
+
+services:
+  app:
+    build: ./
+    # command: streamlit run app.py --server.port 8502
+    volumes:
+        - ./:/home
+    ports:
+        - 8502:8502
+    tty:
+      true

line_bot.py

@@ -0,0 +1,62 @@
+# line_bot.py
+from flask import Flask, request, abort
+from linebot import LineBotApi, WebhookHandler
+from linebot.exceptions import InvalidSignatureError
+from linebot.models import MessageEvent, TextMessage, TextSendMessage
+
+# LineBot クラスを定義します。
+# このクラスは、LINE Bot APIとのやり取りを管理するためのメソッドを含んでいます。
+class LineBot:
+    # コンストラクタでは、LINE Bot APIとWebhookHandlerの初期化を行います。
+    def __init__(self, access_token, channel_secret):
+        # LineBotApiオブジェクトを作成し、LINEのアクセストークンを設定します。
+        self.line_bot_api = LineBotApi(access_token)
+        # WebhookHandlerオブジェクトを作成し、LINEのチャネルシークレットを設定します。
+        self.handler = WebhookHandler(channel_secret)
+
+    # Flaskアプリケーションを作成するメソッドです。
+    def create_app(self):
+        # Flaskのインスタンスを作成します。
+        app = Flask(__name__)
+
+        # '/test'のパスにアクセスがあった場合の処理を定義します。
+        @app.route("/test")
+        def test():
+            # テスト用のエンドポイントなので、"TEST OK"というレスポンスを返します。
+            return "TEST OK"
+
+        # '/'のパスにPOSTリクエストがあった場合の処理を定義します。
+        # これはLINE PlatformからのWebhookを処理するためのエンドポイントです。
+        @app.route("/", methods=['POST'])
+        def callback():
+            # LINE Platformからのリクエストに含まれる署名を取得します。
+            signature = request.headers['X-Line-Signature']
+            # リクエストの本体（body）をテキストとして取得します。
+            body = request.get_data(as_text=True)
+            # リクエストの内容をログに記録します。
+            app.logger.info("Request body: " + body)
+
+            # 署名を検証し、イベントハンドラを呼び出します。
+            try:
+                self.handler.handle(body, signature)
+            except InvalidSignatureError:
+                # 署名が無効な場合は、エラーメッセージを出力し、400エラーを返します。
+                print("Invalid signature. Please check your channel access token/channel secret.")
+                abort(400)
+
+            # すべて正常に処理された場合は、'OK'のレスポンスを返します。
+            return 'OK'
+
+        # MessageEventとTextMessageを処理するイベントハンドラを定義します。
+        @self.handler.add(MessageEvent, message=TextMessage)
+        def handle_message(event):
+            # 受信したメッセージの内容をログに出力します。
+            print("event.message.text:{}".format(event.message.text))
+            # ユーザーに送られたテキストメッセージと同じ内容で返信します。
+            self.line_bot_api.reply_message(
+                event.reply_token,
+                TextSendMessage(text=event.message.text),
+            )
+
+        # Flaskアプリケーションのインスタンスを返します。
+        return app

main.py

@@ -0,0 +1,32 @@
+# main.py
+# 必要なクラスを他のファイルからインポートします。
+from config_loader import ConfigLoader
+from ngrok_manager import NgrokManager
+from line_bot import LineBot
+# from youri_bot import YouriBot
+
+# このスクリプトが直接実行された時だけ、以下のコードが実行されます。
+if __name__ == '__main__':
+    # 設定ファイル 'settings.json' を読み込むために ConfigLoader クラスを使用します。
+    config_loader = ConfigLoader('settings.json')
+
+    # 設定ファイルから読み込んだ設定を取得します。
+    settings = config_loader.settings
+
+    # Ngrokを管理するためのクラスをインスタンス化し、ngrokのAuthtokenを渡します。
+    ngrok_manager = NgrokManager(settings['NGROK_AUTHTOKEN'])
+
+    # ngrokによって生成されたWebhook URLを出力します。
+    print(f"Webhook URL: {ngrok_manager.webhook_url}")
+
+    # LINE Botのインスタンスを作成します。これには、設定から取得したアクセストークンと
+    # チャネルシークレットを渡します。
+    bot = LineBot(settings['LINE_ACCESS_TOKEN'], settings['LINE_CHANNEL_SECRET'])
+    # bot = YouriBot(settings['LINE_ACCESS_TOKEN'], settings['LINE_CHANNEL_SECRET'])
+
+    # Flaskアプリケーションを作成します。
+    app = bot.create_app()
+
+    # アプリケーションを起動します。これにより、Webサーバーが起動し、
+    # LINEからのリクエストを待機する状態になります。
+    app.run()

ngrok_manager.py

@@ -0,0 +1,15 @@
+# ngrok_manager.py
+import os
+from pyngrok import ngrok
+from pyngrok.conf import PyngrokConfig
+
+class NgrokManager:
+    def __init__(self, authtoken):
+        self.authtoken = authtoken
+        self.webhook_url = self.start_ngrok()
+
+    def start_ngrok(self):
+        # 既に実行中のngrokプロセスを終了します（もしあれば）。
+        os.system('kill -9 $(pgrep ngrok)')
+        # 認証トークンを設定した状態でngrokセッションを開始します。
+        return ngrok.connect(addr='127.0.0.1:5000', pyngrok_config=PyngrokConfig(start_new_session=True))

requirements.txt

@@ -0,0 +1,4 @@
+streamlit
+pyngrok
+flask
+line-bot-sdk

settings.json

@@ -0,0 +1,5 @@
+{
+    "NGROK_AUTHTOKEN": "2Xekcp4V81ixf4G9q4ih2GrefKp_3BcdjGJYi1zgAxVTShf2",
+    "LINE_ACCESS_TOKEN": "hCsTRCitcPJUPEgAY1kaBnVBVEdzGG8ju6yXI7mSs3dyZQiW5KJw13wIdLmWr3AstOxCd9SuikXI45jpjJHojdjDCoV+Yy8UmPJ6ZrGvBs172Rcs/SP+V9UGJtvmdfRelQB9i4cdGEYYoNTzU8ujewdB04t89/1O/w1cDnyilFU=",
+    "LINE_CHANNEL_SECRET": "af80ad7b208212a7ee6a73e9ab2d0127"
+}

youri_bot.py

@@ -0,0 +1,103 @@
+# line_bot.py
+from flask import Flask, request, abort
+from linebot import LineBotApi, WebhookHandler
+from linebot.exceptions import InvalidSignatureError
+from linebot.models import MessageEvent, TextMessage, TextSendMessage
+from line_bot import LineBot  # your_line_bot_fileは、LineBotクラスを含むファイルの名前です。
+import torch
+from transformers import AutoTokenizer
+from auto_gptq import AutoGPTQForCausalLM  # your_model_libraryは、モデルクラスを含むライブラリの名前です。
+
+# LineBot クラスを定義します。
+# このクラスは、LINE Bot APIとのやり取りを管理するためのメソッドを含んでいます。
+class YouriBot(LineBot):
+    # コンストラクタでは、LINE Bot APIとWebhookHandlerの初期化を行います。
+    def __init__(self, access_token, channel_secret):
+        # LineBotApiオブジェクトを作成し、LINEのアクセストークンを設定します。
+        self.line_bot_api = LineBotApi(access_token)
+        # WebhookHandlerオブジェクトを作成し、LINEのチャネルシークレットを設定します。
+        self.handler = WebhookHandler(channel_secret)
+        # トークナイザーとモデルの準備
+        self.tokenizer = AutoTokenizer.from_pretrained(
+            "rinna/youri-7b-chat-gptq"
+        )
+        self.model = AutoGPTQForCausalLM.from_quantized(
+            "rinna/youri-7b-chat-gptq", 
+            device_map="auto",
+            use_safetensors=True
+        )
+
+    def generate_response(self, prompt):
+        # 推論の実行
+        token_ids = self.tokenizer.encode(
+            prompt, 
+            add_special_tokens=False, 
+            return_tensors="pt")
+        with torch.no_grad():
+            output_ids = self.model.generate(
+                input_ids=token_ids.to(self.model.device),
+                max_new_tokens=200,
+                do_sample=True,
+                temperature=0.5,
+                pad_token_id=self.tokenizer.pad_token_id,
+                bos_token_id=self.tokenizer.bos_token_id,
+                eos_token_id=self.tokenizer.eos_token_id
+            )
+        return self.tokenizer.decode(
+            output_ids[0][token_ids.size(1):], 
+            skip_special_tokens=True
+        )
+
+    # Flaskアプリケーションを作成するメソッドです。
+    def create_app(self):
+        # Flaskのインスタンスを作成します。
+        app = Flask(__name__)
+
+        # '/test'のパスにアクセスがあった場合の処理を定義します。
+        @app.route("/test")
+        def test():
+            # テスト用のエンドポイントなので、"TEST OK"というレスポンスを返します。
+            return "TEST OK"
+
+        # '/'のパスにPOSTリクエストがあった場合の処理を定義します。
+        # これはLINE PlatformからのWebhookを処理するためのエンドポイントです。
+        @app.route("/", methods=['POST'])
+        def callback():
+            # LINE Platformからのリクエストに含まれる署名を取得します。
+            signature = request.headers['X-Line-Signature']
+            # リクエストの本体（body）をテキストとして取得します。
+            body = request.get_data(as_text=True)
+            # リクエストの内容をログに記録します。
+            app.logger.info("Request body: " + body)
+
+            # 署名を検証し、イベントハンドラを呼び出します。
+            try:
+                self.handler.handle(body, signature)
+            except InvalidSignatureError:
+                # 署名が無効な場合は、エラーメッセージを出力し、400エラーを返します。
+                print("Invalid signature. Please check your channel access token/channel secret.")
+                abort(400)
+
+            # すべて正常に処理された場合は、'OK'のレスポンスを返します。
+            return 'OK'
+
+        # MessageEventとTextMessageを処理するイベントハンドラを定義します。
+        @self.handler.add(MessageEvent, message=TextMessage)
+        def handle_message(event):
+            # 受信したメッセージの内容をログに出力します。
+            print("event.message.text:{}".format(event.message.text))
+            # ユーザーに送られたテキストメッセージと同じ内容で返信します。
+
+            prompt = f"設定: あなたの優秀なAIアシスタントです。\nユーザー: {event.message.text}\nシステム: "
+            print(f"prompt:{prompt}")
+            # AIによるレスポンス生成
+            response_text = self.generate_response(prompt)
+            print(f"response_text:{response_text}")
+
+            self.line_bot_api.reply_message(
+                event.reply_token,
+                TextSendMessage(text=event.message.text),
+            )
+
+        # Flaskアプリケーションのインスタンスを返します。
+        return app