app.py

import os

os.system("pwd")
#os.system("nvidia-smi")
os.system(
    f"git clone https://github.com/icalk-nlp/EduChat.git")
#os.system(f"cd /home/user/app/bitsandbytes && CUDA_VERSION=113 make cuda11x && python setup.py install")
#os.system(f"cd EduChat")

os.system(f'''python launch.py  --model_path ecnu-icalk/educhat-sft-002-7b \
--top_k 50 \
--do_sample True \
--max_new_tokens 512''')