metadata
license: apache-2.0
datasets:
- p1atdev/gsm8k-ja-slim
- HachiML/alpaca_jp_math
- baber/hendrycks_math
language:
- ja
base_model:
- llm-jp/llm-jp-3-13b-instruct3
library_name: peft
tags:
- moe
LoRAMoE for llm-jp-3-13b-instruct3
本リポジトリは，llm-jp-3-13b-instruct3 をベースに，LoRAMoE[https://github.com/Ablustrund/LoRAMoE] の手法を実装・適用したものです．
LoRAMoE は，複数の低ランクアダプター（LoRA）と Mixture-of-Experts (MoE) スタイルのルーター機構を組み合わせることで，下流タスクの性能向上と，事前学習で獲得した世界知識の保持の両立を実現することを目的としています．
執筆中 普通の方法では読み込めません．