Upload 2 files

scripts/inference_without_vllm.py

@@ -0,0 +1,62 @@
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_path = "../model_weights"
+model = AutoModelForCausalLM.from_pretrained(
+    model_path,
+    torch_dtype="auto",
+    device_map="auto"
+)
+tokenizer = AutoTokenizer.from_pretrained(model_path)
+
+messages = [
+    {"role": "system", "content": "下午好！这里是曜影医疗预约中心，我是Lisa,请问有什么可以帮您？"}
+    #{"role": "user", "content": prompt}
+]
+#prompt = ['那首次购买"感染及持续咳嗽诊断套餐"的价格呢？']
+#费用
+prompt = ["能告诉我你们全科问诊收费价格吗？",'那首次购买感染及持续咳嗽诊断套餐的价格呢？',"能告诉我你们专科问诊收费价格吗？",
+          '能告诉我你们急诊收费价格吗？','能告诉我你们心理科&精神科问诊收费价格吗？','能告诉我你们康复理疗收费价格吗？',
+          '能告诉我你们整脊收费价格吗？']
+#取消医生预约
+#prompt = ['我想取消今天下午3点和王莹医生的预约','我觉得我已经好点了，不需要再看医生了。','谢谢']
+#prompt = ['请介绍一下2021年美国总统是谁，以及他的生平事迹？']
+#prompt = ['谢谢']
+#取消手术/胃肠镜预约
+#prompt = ['我需要取消我的手术预约']
+#通用知识
+#prompt = ['曜影医疗公司一共有哪些门诊部？','上海商城门诊部位于哪里？','天山门诊部位于哪里？','曜影医疗的服务模式是什么？']
+#约全科
+# prompt = ['我咳嗽3天了，现在情况越来越严重，需要看医生。','没有','我住在人民广场附近','有，下午4点吧',
+#           '我的生日是1990/1/1,  电话是19937679835','好的']
+#约专科
+# prompt = ['我今天早上鼻子出血了，很不舒服，需要看医生。','没有，就是早上刷牙时，鼻子开始流血。近半年都没有出现过。',
+#           '我在东方体育中心附近。','太好了，那我约医生看诊。','下午3点吧','我的生日是1990/1/1,  电话是19937679835',
+#           '好的']
+# #约急诊
+# prompt = ['我现在需要和医生通电话！','我感到呼吸困难，胸痛……','今天我打篮球被篮球砸到了胸口，现在胸口很难受。没有其他症状。',
+#           '好的，麻烦尽快帮我安排急诊。','我叫张梅，我的生日是1990/1/1,  电话是19937679835','好的']
+response = ''
+count = 1
+for question in prompt:
+    messages.append({"role":"user", "content": question})
+
+    text = tokenizer.apply_chat_template(
+        messages,
+        tokenize=False,
+        add_generation_prompt=True
+    )
+    model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
+    generated_ids = model.generate(
+        **model_inputs,
+        max_new_tokens=512
+    )
+    generated_ids = [
+        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+    ]
+
+    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+    messages.append({"role": "system", "content":response})
+    print("##第",count,"轮次##")
+    for message in messages:
+        print(message)
+    count +=1

scripts/with_vllm.py

@@ -0,0 +1,40 @@
+from vllm import LLM, SamplingParams
+
+model_path = "../model_weights"
+
+model = LLM(model=model_path,tokenizer=model_path, dtype='bfloat16',seed=1234)
+sampling_params = SamplingParams(repetition_penalty = 1.05,
+                                 temperature = 0.7,
+                                 top_k = 20,
+                                 top_p = 0.8,
+                                 max_tokens = 512)
+
+messages = [
+    {"role": "system", "content": "下午好！这里是曜影医疗预约中心，我是Lisa,请问有什么可以帮您？"}
+]
+
+#费用
+prompts = ["能告诉我你们全科问诊收费价格吗？",'那首次购买感染及持续咳嗽诊断套餐的价格呢？',"能告诉我你们专科问诊收费价格吗？",
+          '能告诉我你们急诊收费价格吗？','能告诉我你们心理科&精神科问诊收费价格吗？','能告诉我你们康复理疗收费价格吗？',
+          '能告诉我你们整脊收费价格吗？']
+# prompts = ['我现在需要和医生通电话！','我感到呼吸困难，胸痛……','今天我打篮球被篮球砸到了胸口，现在胸口很难受。没有其他症状。',
+#           '好的，麻烦尽快帮我安排急诊。','我叫张梅，我的生日是1990/1/1,  电话是19937679835','好的']
+# prompts = ['我咳嗽3天了，现在情况越来越严重，需要看医生。','没有了','我住在人民广场附近','太好了，那我约医院看诊。',
+#           '下午3点吧','我的生日是1990/1/1,  电话是19937679835','好的']
+# prompts = ['我今天早上鼻子出血了，很不舒服，需要看医生。','没有，就是早上刷牙时，鼻子开始流血。近半年都没有出现过。',
+#           '我在东方体育中心附近。','太好了，那我约医生看诊。','下午3点吧','我的生日是1990/1/1,  电话是19937679835',
+#           '好的']
+#prompts = ['曜影医疗公司一共有哪些门诊部？','上海商城门诊部位于哪里？','天山门诊部位于哪里？','曜影医疗的服务模式是什么？']
+#prompts = ['谢谢']
+response = ''
+count = 1
+for question in prompts:
+    messages.append({"role":"user", "content": question})
+    response = model.chat(messages, add_generation_prompt=True, sampling_params=sampling_params)
+    print(response)
+    response = response[0].outputs[0].text
+    messages.append({"role": "system", "content":response})
+    print("##第",count,"轮次##")
+    for message in messages:
+        print(message)
+    count +=1