TinyQwens-Merge-1.5B

本モデルは, 現在公開されている1.5Bパラメタの小型LLMのうち, Qwenをベースとしているものを統合したマージモデルです. マージ手法にはSakanaAI社が開発した進化的モデルマージを採用しています.

Genome models:

• SakanaAI/TinySwallow-1.5B-Instruct
• EQUES/TinySwallow-Stratos-1.5B
• deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
• Qwen/Qwen2.5-1.5B-Instruct

Base model:

• EQUES/TinySwallow-Stratos-1.5B

Uses

Uses follow the original models.
This model is provided for research and development purposes only and should be considered as an experimental prototype. It is not intended for commercial use or deployment in mission-critical environments. Use of this model is at the user's own risk, and its performance and outcomes are not guaranteed. EQUES Inc. shall not be liable for any direct, indirect, special, incidental, or consequential damages, or any loss arising from the use of this model, regardless of the results obtained. Users must fully understand the risks associated with the use of this model and use it at their own discretion.

Output Examples

Give me a short introduction to large language model.

Large language models are powerful AI systems that can generate human-like text, code, and even code snippets. They are used in a wide range of applications, including:

Chatbots: Large language models can be used to create conversational agents that can interact with users in a natural and engaging way.

Code Generation: These models can generate code in a way that is both readable and functional.

Research: They can be used to generate hypotheses and explore new ideas.

Education: They can be used to create interactive learning experiences.

Marketing: They can be used to create compelling marketing materials.

Product Development: They can be used to generate product descriptions and marketing materials.

Customer Service: They can be used to provide personalized support to customers.

Content Creation: They can be used to generate creative content for various purposes.

Research: They can be used to explore new ideas and hypotheses.

Education: They can be used to create interactive learning experiences.

Product Development: They can be used to generate product descriptions and marketing materials.

Marketing: They can be used to create compelling marketing materials.

Product Development: They can be used to generate product descriptions and marketing materials.

Research: They can be used to explore new ideas and hypotheses.

Education: They can be used to create interactive learning experiences.

Customer Service: They can be used to provide personalized support to customers.

Content Creation: They can be used to generate creative content for various purposes.

Product Development: They can be used to generate product descriptions and marketing materials.

Research: They can be used to explore new ideas and hypotheses.

Education: They can be used to create interactive learning experiences.

Marketing: They can be used to create compelling marketing materials.

Product Development: They can be used to generate product descriptions and marketing materials.

Research: They can be used to explore new ideas and hypotheses.

Education: They can be used to create interactive learning experiences.

Customer Service: They can be used to provide personalized support to customers.

Content Creation: They can be used to generate creative content for various purposes.

Product Development: They can be used to generate product descriptions and marketing materials.

Research: They can be used to explore new ideas and hypotheses.

Education: They can be used to create interactive learning experiences.

Marketing: They can be used to create compelling marketing materials

大規模言語モデルについて教えて。

大規模言語モデルは、大量のデータを学習し、それらを基に高度な言語理解や生成能力を提供するAIシステムです。これらのモデルは、特定のタスクや問題に対する特定の能力を提供します。大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。

大規模言語モデルは、特定のタスクや

日本で一番高い山の名前は何ですか？答えだけを出力して。

富士山

日本で２番目に高い山の名前は何ですか？思考過程と答えを両方出力して。

日本で2番目に高い山は富士山です。富士山は日本の最高峰であり、標高3,776メートルです。富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。また、富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。また、富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。

思考過程:

富士山は日本の最高峰であり、標高3,776メートルです。
富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。
富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。
答え:

日本で2番目に高い山は富士山です。富士山は日本の最高峰であり、標高3,776メートルです。富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。また、富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。

A regular hexagon can be divided into six equilateral triangles. If the perimeter of one of the triangles is 21 inches, what is the perimeter, in inches, of the regular hexagon?

The perimeter of each equilateral triangle is 21 inches. Since a regular hexagon is composed of six equilateral triangles, the perimeter of the hexagon would be 6 times the perimeter of one triangle. Therefore, the perimeter of the hexagon would be 6 * 21 inches, which is 126 inches.

So, the perimeter of the regular hexagon is 126 inches.

Let me know if I can help with any other questions you might have. I'm here to assist with any math-related queries. If you have any other questions about geometry, algebra, or anything else, feel free to ask. I'm always ready to help!

Note that

• This model is imperfect; the model gave a repetition in the first and third example.
• This model is still not good at reasoning; the model gave a wrong answer in the fourth example.
• This model is not good at math; the model gave a wrong answer in the fifth example about prealgebra.

Sample Usage

import os
os.environ["CUDA_VISIBLE_DEVICES"]="0"
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "EQUES/TinyQwens-Merge-1.5B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "大規模言語モデルについて教えて。"
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

License

Apache-2.0

Acknowledgement

• SakanaAI & Swallow team : development and release of TinySwallow-1.5B
• SakanaAI
• Mergekit