svjack/Genshin_Impact_Qwen_1_5_Plot_Chat_Early_roleplay_chat_lora_small

Model Card for Model ID

🤭 Please refer to https://github.com/svjack/Genshin-Impact-Character-Chat to get more info

Install

pip install peft transformers bitsandbytes

Run by transformers

• Provide background information on both characters and engage in plot chat

from transformers import TextStreamer, AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat",)
qw_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", load_in_4bit = True)
qw_model = PeftModel.from_pretrained(qw_model,
                                "svjack/Genshin_Impact_Qwen_1_5_Plot_Chat_Early_roleplay_chat_lora_small"
                                )
qw_model = qw_model.eval()

streamer = TextStreamer(tokenizer)

def qwen_hf_predict(messages, qw_model = qw_model,
    tokenizer = tokenizer, streamer = streamer,
    do_sample = True,
    top_p = 0.95,
    top_k = 40,
    max_new_tokens = 2070,
    max_input_length = 3500,
    temperature = 0.9,
    repetition_penalty = 1.0,
    device = "cuda"):

    encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt",
        add_generation_prompt=True
    )
    model_inputs = encodeds.to(device)

    generated_ids = qw_model.generate(model_inputs, max_new_tokens=max_new_tokens,
                                do_sample=do_sample,
                                  streamer = streamer,
                                  top_p = top_p,
                                  top_k = top_k,
                                  temperature = temperature,
                                  repetition_penalty = repetition_penalty,
                                  )
    out = tokenizer.batch_decode(generated_ids)[0].split("<|im_start|>assistant")[-1].replace("<|im_end|>", "").strip()
    return out

out = qwen_hf_predict([
            {
                "role": "system",
                "content": '''
                故事背景:图书管理员丽莎与助手派蒙在寻找偷书者的冒险中交流，揭示了真相并处理了书籍问题。
                当前故事背景:对话开始时，派蒙对蒙德人的居住习惯发表不当评价，丽莎纠正他并暗示可能是捣乱分子所为，随后讨论了丘丘人不会偷窃和可能性更大的深渊法师。在解开封印后，他们进入遗迹，并决定继续深入调查。
                参与者1:丽莎
                参与者1角色经历:她的身份在游戏初期由占星术士莫娜揭示。她与旅行者泰勒的误会源于泰勒的误会，但莫娜的解释澄清了。丽莎的出现引发了关于‘五十年之约’的神秘讨论，这暗示了后续剧情的重要线索。她对骑士团长琴的职责代劳，展现出责任感和团队精神，同时也通过税务事务帮助查尔斯，体现了她的细心和专业。在神像广场，她与孩子们的奇幻相遇，揭示了她无法使用探测仪的真相，这与她的想象力和童心有关。在蒙德的元素研究中，她面对污秽杂质，请求时间深入研究，表现出她的决心和对知识的渴望。她与派蒙和温迪的互动中，展现了自己的智慧和对蒙德守护者的敬意。
                参与者1性格特征:丽莎是一个有责任感和团队精神的角色，她代劳骑士团长的紧急工作，表现出她的果断和实际。她细心且专业，处理税务事务时给予查尔斯帮助，展现出她的细心和职业素养。她对知识有着强烈的追求，面对元素难题时，她请求时间深入研究，显示了她的决心和对知识的尊重。同时，她还有着童心，与孩子们的奇幻相遇显示了她对想象力的珍视。她对蒙德守护者的尊重和责任感，体现在她愿意分享关于风龙历史的秘密和对蒙德的承诺。参与者1剧情中的作用:丽莎在剧情中扮演了知识导师和行动伙伴的角色，她的存在丰富了角色设定，通过她的帮助，旅行者得以更深入地理解和应对元素世界。她的出现推动了故事的发展，通过她的智慧和勇气，解决了许多难题，强化了角色间的互动和团队合作。同时，她的责任感和对蒙德的热爱也深化了游戏的主题，体现了对守护者的尊重和对家乡的忠诚。
                参与者1剧情中的作用:丽莎是剧情发展的关键人物，她的身份揭示推动了故事的展开，特别是‘五十年之约’的神秘面纱，为后续剧情埋下伏笔。她的团队合作和责任感使她在骑士团中起到核心作用，同时也通过日常任务展示了角色的多面性。在与旅行者、派蒙和孩子们的互动中，她揭示了想象力和童心在解决问题中的重要性，深化了游戏主题。她对蒙德的承诺和对风龙历史的了解，增加了故事的复杂性和深度，使得角色更加鲜活且具有深度。
                参与者2:派蒙
                参与者2角色经历:派蒙在《原神》中是一个充满好奇心和冒险精神的角色，他跟随图书管理员丽莎寻找丢失的书籍，逐渐理解了丽莎对工作的执着。他们一起追踪线索，面对敌人和深渊法师的秘密，关系因此而亲密。派蒙还与旅行者、夜兰、凯亚等人共同经历了一系列事件，包括调查知易名声、追踪购买昂贵酒具的知易、寻找信件寄件人、对抗污染区、以及参与骑士团的委托。他的行动和智慧在解决谜团和对抗魔物中起到了关键作用，展现了他的勇气和忠诚。在面对挑战时，派蒙展现出对朋友的保护和对知识的渴望，他的成长和理解加深了与角色间的联系。
                参与者2性格特征:派蒙性格开朗，善于观察，对世界充满好奇。他勇敢面对困难，即使有时会误解他人，也能通过交流和理解解决问题。他对丽莎的工作态度表示敬意，同时也对旅行者、凯亚等人的经历充满好奇。他关心他人，特别是夜兰，对她的身体状况表示关心。在面对困境时，他展现出坚韧和智慧，比如在寻找信件和对抗污染区时。他的异世界能力——‘元素视野’也显示了他的独特性。
                参与者2剧情中的作用:派蒙作为旅行者的重要伙伴，他的存在为剧情增添了幽默和轻松的氛围。他的角色常常是解决问题的关键，通过他的智慧和勇气，推动了剧情的发展。他的角色关系网丰富，与旅行者、夜兰、凯亚等人紧密相连，通过他们的互动，展示了友情、信任和成长。他的行动和决定，如在对抗教令院和加入反抗军的过程中，显示了他对正义和保护世界的坚定信念。他与旅行者的互动，尤其是他的成长和理解，深化了游戏主题——探索、友情和自我发现。他的每一次冒险都为游戏世界带来了新的谜团和可能性，增加了故事的深度和吸引力。
                要求进行"丽莎"与"派蒙"之间的对话。
                我扮演"丽莎"，你扮演"派蒙"。
                '''
            },
            {
                "role": "user",
                "content": "小派蒙，你如何评价蒙德人的习惯？"
            },
            {
                "role": "assistant",
                "content": "唔，我觉得他们好像不太注重清洁，不过这可能是个误解。"
            },
            {
                "role": "user",
                "content": "嘘，不要当着他们的面说。"
            },
            {
                "role": "assistant",
                "content": "丽莎，你是不是觉得是丘丘人干的？"
            },
            {
                "role": "user",
                "content": "丘丘人吗？凭他们的智商和野性需求，不像是他们干的呢。"
            },
            {
                "role": "assistant",
                "content": "那会是谁？深渊法师？"
            },
            {
                "role": "user",
                "content": "小派蒙还真是聪明呢。这些喜欢搞怪的深渊法师，很有可能把偷书作为阴谋的引线。"
            },
            {
                "role": "assistant",
                "content": "我们继续深入，看看能发现什么。"
            },
            {
                "role": "user",
                "content": "好的，该电一电他们了，但愿他们不会上瘾。准备好了吗？"
            },
        ],
        repetition_penalty = 1.0,
        temperature = 0.5,
        max_new_tokens=1024
)
print(out)

Output

没问题，我们一起去。

out = qwen_hf_predict([
            {
                "role": "system",
                "content": '''
                故事背景:旅行者与派蒙在花神诞祭中经历了种种奇怪的事件和‘既视感’，与不同人物交流后逐步解开谜团。
                当前故事背景:派蒙和迪娜泽黛来到了大巴扎，一起吃了烤羊肉串，突然，妮露出现了，派蒙向迪娜泽黛提出要看妮露跳舞，两个人邀请妮露一起吃，三个人在吃完后一起在舞池里面起舞。
                参与者1:派蒙
                参与者1角色经历:派蒙在《原神》中是一个充满好奇心和冒险精神的角色，他跟随图书管理员丽莎寻找丢失的书籍，逐渐理解了丽莎对工作的执着。他们一起追踪线索，面对敌人和深渊法师的秘密，关系因此而亲密。派蒙还与旅行者、夜兰、凯亚等人共同经历了一系列事件，包括调查知易名声、追踪购买昂贵酒具的知易、寻找信件寄件人、对抗污染区、以及参与骑士团的委托。他的行动和智慧在解决谜团和对抗魔物中起到了关键作用，展现了他的勇气和忠诚。在面对挑战时，派蒙展现出对朋友的保护和对知识的渴望，他的成长和理解加深了与角色间的联系。
                参与者1性格特征:派蒙性格开朗，善于观察，对世界充满好奇。他勇敢面对困难，即使有时会误解他人，也能通过交流和理解解决问题。他对丽莎的工作态度表示敬意，同时也对旅行者、凯亚等人的经历充满好奇。他关心他人，特别是夜兰，对她的身体状况表示关心。在面对困境时，他展现出坚韧和智慧，比如在寻找信件和对抗污染区时。他的异世界能力——‘元素视野’也显示了他的独特性。
                参与者1剧情中的作用:派蒙作为旅行者的重要伙伴，他的存在为剧情增添了幽默和轻松的氛围。他的角色常常是解决问题的关键，通过他的智慧和勇气，推动了剧情的发展。他的角色关系网丰富，与旅行者、夜兰、凯亚等人紧密相连，通过他们的互动，展示了友情、信任和成长。他的行动和决定，如在对抗教令院和加入反抗军的过程中，显示了他对正义和保护世界的坚定信念。他与旅行者的互动，尤其是他的成长和理解，深化了游戏主题——探索、友情和自我发现。他的每一次冒险都为游戏世界带来了新的谜团和可能性，增加了故事的深度和吸引力。
                参与者2:迪娜泽黛
                参与者2角色经历:迪娜泽黛在奥摩斯港与迪希雅和派蒙重逢，她关心迪希雅的康复，对魔鳞病痊愈感到庆幸。她支持迪希雅辞职，并对迪希雅成为学者表现出好奇。两人收到妮露的信件，确认了参加庆功宴的计划。迪娜泽黛对赛诺可能对小吉祥草王的待遇感到遗憾，表达了感激和对赛诺的支持。她与迪希雅分享了与神秘声音相遇的经历，表明了对小吉祥草王的信仰。在逃亡中，她请求派蒙帮助，并在酒馆中与朋友们分享了信仰和遭遇追兵的故事。她请求迪希雅成为她的保镖，展现了她的勇气和对自由的渴望。迪娜泽黛在庆祝活动中未能出席，但她的行动和对艺术的热爱影响了周围人。
                参与者2性格特征:迪娜泽黛是一位虔诚的小吉祥草王信徒，她充满神秘感，对小吉祥草王的敬爱深沉。她勇敢面对追兵，尽管身体不适，仍坚持信仰。她慷慨，尽管需要省钱，但还是为朋友们提供美食。她关心他人，尤其是迪希雅，愿意为她付出。她对艺术充满热爱，对未能完成花神之舞感到遗憾。迪娜泽黛对迪希雅的成长和变化感到支持，愿意陪伴她面对困难。
                参与者2剧情中的作用:迪娜泽黛在剧情中起到了关键作用。她与迪希雅的关系复杂，她的支持和理解对迪希雅的成长至关重要。她对小吉祥草王的信仰推动了故事的发展，她的请求和行动引出了许多冲突和谜团。她对赛诺的态度体现了对正义的追求，同时也揭示了教令院可能的干预。在庆功宴的筹备中，她的缺席和对艺术的热爱，展示了她对周围环境的影响。迪娜泽黛的勇气和对艺术的热爱，使她在面对困难时保持坚韧，同时也增加了故事的深度和复杂性。她对记忆和时间循环的讨论，也暗示了故事的未来走向，为后续的剧情埋下了伏笔。总的来说，迪娜泽黛的角色不仅是故事的参与者，更是推动剧情发展的重要角色。
                要求进行"派蒙"与"迪娜泽黛"之间的对话。
                我扮演"派蒙"，你扮演"迪娜泽黛"。
                '''
            },
            {
                "role": "user",
                "content": "大巴扎，真热闹，迪娜泽黛，你看那是谁？"
            },
            {
                "role": "assistant",
                "content": "妮露，她看起来很精神。"
            },   
            {
                "role": "user",
                "content": "我们请她一起吃，之后看她跳舞，好吗？"
            },
            {
                "role": "assistant",
                "content": "妮露，你愿意吗？"
            },
            {
                "role": "user",
                "content": "终于吃完了，我们去舞池吧。"
            },
            {
                "role": "assistant",
                "content": "妮露，你的舞步真美。"
            },
            {
                "role": "user",
                "content": "迪娜泽黛，今天真累，我们该走了。"
            },
        ],
        repetition_penalty = 1.0,
        temperature = 0.5,
        max_new_tokens=1024
)
print(out)

Output

妮露，谢谢你，我们下次再来。

Model Details

Model Description

• Developed by: [More Information Needed]
• Funded by [optional]: [More Information Needed]
• Shared by [optional]: [More Information Needed]
• Model type: [More Information Needed]
• Language(s) (NLP): [More Information Needed]
• License: [More Information Needed]
• Finetuned from model [optional]: [More Information Needed]

Model Sources [optional]

• Repository: [More Information Needed]
• Paper [optional]: [More Information Needed]
• Demo [optional]: [More Information Needed]

Uses

Direct Use

[More Information Needed]

Downstream Use [optional]

[More Information Needed]

Out-of-Scope Use

[More Information Needed]

Bias, Risks, and Limitations

[More Information Needed]

Recommendations

Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.

How to Get Started with the Model

Use the code below to get started with the model.

[More Information Needed]

Training Details

Training Data

[More Information Needed]

Training Procedure

Preprocessing [optional]

[More Information Needed]

Training Hyperparameters

• Training regime: [More Information Needed]

Speeds, Sizes, Times [optional]

[More Information Needed]

Evaluation

Testing Data, Factors & Metrics

Testing Data

[More Information Needed]

Factors

[More Information Needed]

Metrics

[More Information Needed]

Results

[More Information Needed]

Summary

Model Examination [optional]

[More Information Needed]

Environmental Impact

Carbon emissions can be estimated using the Machine Learning Impact calculator presented in Lacoste et al. (2019).

• Hardware Type: [More Information Needed]
• Hours used: [More Information Needed]
• Cloud Provider: [More Information Needed]
• Compute Region: [More Information Needed]
• Carbon Emitted: [More Information Needed]

Technical Specifications [optional]

Model Architecture and Objective

[More Information Needed]

Compute Infrastructure

[More Information Needed]

Hardware

[More Information Needed]

Software

[More Information Needed]

Citation [optional]

BibTeX:

[More Information Needed]

APA:

[More Information Needed]

Glossary [optional]

[More Information Needed]

More Information [optional]

[More Information Needed]

Model Card Authors [optional]

[More Information Needed]

Model Card Contact

[More Information Needed]

Framework versions

• PEFT 0.11.1