metadata

base_model:
  - elyza/ELYZA-japanese-Llama-2-7b-fast
  - elyza/ELYZA-japanese-Llama-2-7b-fast-instruct
license: llama2
language:
  - ja
tags:
  - mergekit
  - merge
  - MoE

ELYZA-japanese-Llama-2-fast-MoE-2x7B-v0.1

English description here

概要

Llama-2ベースの学習済み日本語モデルであるelyza/ELYZA-japanese-Llama-2-7b-fastと、そのinstruction tuningモデルであるelyza/ELYZA-japanese-Llama-2-7b-fast-instruct を、mergekitを使ってMoEを行い作成したモデルです。

GGUF版はこちら

以下2モデルを利用しています。

ライセンス

元モデルの通り、Llama2ライセンスを継承します。

ベンチマーク

ベースとしたELYZA-japanese-Llama-2-7b-fast-instructと本モデルのjapanese-mt-benchの結果は以下の通りです。（シングルターン）

Model	Size	Coding	Extraction	Humanities	Math	Reasoning	Roleplay	STEM	Writing	avg_score
ELYZA-japanese-Llama-2-7b-fast-instruct	7B	2.8	5.2	7.1	2.0	3.6	6.0	5.9	6.4	4.8750
This model	2x7B	3.5	5.1	7.5	1.9	3.5	6.3	5.9	7.6	5.1625

ベンチマークに使用したプロンプト

"""<s>[INST] <<SYS>>
あなたは誠実で優秀な日本人のアシスタントです。
<</SYS>>
{instruction} [/INST]"""

Description

This model is created using MoE (Mixture of Experts) through mergekit based on elyza/ELYZA-japanese-Llama-2-7b-fast and elyza/ELYZA-japanese-Llama-2-7b-fast-instruct.

Click here for the GGUF version

It utilizes the following two models:

License

Benchmark

The results of this model and the base ELYZA-japanese-Llama-2-7b-instruct on japanese-mt-bench are as follows. (Single turn)

Model	Size	Coding	Extraction	Humanities	Math	Reasoning	Roleplay	STEM	Writing	avg_score
ELYZA-japanese-Llama-2-7b-fast-instruct	7B	2.8	5.2	7.1	2.0	3.6	6.0	5.9	6.4	4.8750
This model	2x7B	3.5	5.1	7.5	1.9	3.5	6.3	5.9	7.6	5.1625

Prompt used for benchmark

"""<s>[INST] <<SYS>>
あなたは誠実で優秀な日本人のアシスタントです。
<</SYS>>
{instruction} [/INST]"""

Merge config

mergekit_config.yml

base_model: ./ELYZA-japanese-Llama-2-7b-fast-instruct
gate_mode: random
dtype: bfloat16
experts:
  - source_model: ./ELYZA-japanese-Llama-2-7b-fast-instruct
    positive_prompts: []
  - source_model: ./ELYZA-japanese-Llama-2-7b-fast
    positive_prompts: []
tokenizer_source: model:./ELYZA-japanese-Llama-2-7b-fast-instruct