metadata
license: apache-2.0
RWKV-x060-7B-Rosebleu Model Card
モデル概要
- モデル名: RWKV-x060-7B-Rosebleu
- アーキテクチャ: RWKV x060 "Finch"
- ベースモデル: RWKV x060-7B JPN
- モデル構造: 32 Layer, 4096 Dimension
- パラメータ数: 7.6B (76億)
- ファインチューニング手法: LoRA(r=16), Emb frozen, Head LoRA(r=16) NF4量子化
- LoRAマージ手法:非量子化モデルに対し、LoRAをマージ
- 学習コンテキストサイズ: 可変ウインドウ最大131k（平均40ｋ）
特徴
- RWKV-LM-RLHF Infctx モードによる拡大学習コンテキスト
- SFTLossとKLLossのハイブリッド学習による過学習抑制を目指しています。
- キャラクターごとの会話履歴を考慮した学習
- ロールプレイチャット学習を重点的に行ったモデルになります。
データセット
- 使用データセット: open_contents_datasetsの(c)Rosebleu様のデータセット
- データ処理: キャラクターごとの会話並び替えと会話履歴ごとの1Pair生成
- Topk100のLogitsデータセットを作成（70GBほど）
- 処理後のトータルデータセット数300000Pair
使用方法
- システムプロンプトにキャラクター情報を入力することでキャラクターになりきり可能？
- システムプロンプトなしの場合は素モデルに近い挙動をします
- 推奨推論パラメータはTemperature=1.0 top-p=0.5です
技術的詳細
- 自己蒸留LogitsをLossに加えることでSFTLossとKLLossのバランスを調整
- ハイパーパラメータによるSFTデータセットの学習度と元のモデル維持度のトレードオフ制御
- LR 2e-5 to 1e-6, top-k=100 temperature=2.0 alpha=0.85
- Train Epoch 2
制限事項と注意点
- 実験的なモデルであり、性能や挙動が安定しない可能性があります。
- キャラクターのなりきり精度は入力されるシステムプロンプトに依存します。
ライセンスと謝辞
- データセット:(c)Rosebleu様
- https://gitlab.com/open_contents_datasets/Rosebleu
- ライセンスはデータセットと同じです。