Create README.md
Browse files
README.md
ADDED
|
@@ -0,0 +1,74 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# microsoft/phi-4 量子化モデル
|
| 2 |
+
## 概要
|
| 3 |
+
本モデルは、[microsoft/phi-4](https://huggingface.co/microsoft/phi-4) をベースとして、GPTQ手法による量子化を適用したものです。日本語テキストをキャリブレーションデータとして用いることで、日本語環境での性能を最適化しています。
|
| 4 |
+
|
| 5 |
+
- **モデルバリアント**:
|
| 6 |
+
- [nejumi/phi-4-GPTQ-Int4-calib-ja-1k](https://huggingface.co/nejumi/phi-4-GPTQ-Int4-calib-ja-1k)
|
| 7 |
+
- [nejumi/phi-4-GPTQ-Int8-calib-ja-1k](https://huggingface.co/nejumi/phi-4-GPTQ-Int8-calib-ja-1k)
|
| 8 |
+
- **ベースモデル**: [microsoft/phi-4](https://huggingface.co/microsoft/phi-4)
|
| 9 |
+
- **モデルサイズ**: 14,659,507,200 パラメータ
|
| 10 |
+
- **カテゴリ**: 10B≤ <30B
|
| 11 |
+
---
|
| 12 |
+
### 量子化パラメータ
|
| 13 |
+
- bits: 4 or 8
|
| 14 |
+
- group_size: 128
|
| 15 |
+
- perc_damp: 0.01
|
| 16 |
+
- desc_act: True
|
| 17 |
+
- use_exllama: False
|
| 18 |
+
- model_seqlen: 2048
|
| 19 |
+
|
| 20 |
+
---
|
| 21 |
+
## 性能評価
|
| 22 |
+
|
| 23 |
+
青: オリジナル
|
| 24 |
+
橙: 8bit
|
| 25 |
+
緑: 4bit
|
| 26 |
+
|
| 27 |
+
### ベンチマーク総合結果
|
| 28 |
+
| モデル | GLP平均 | ALT平均 | 総合平均 |
|
| 29 |
+
|--------|---------|---------|----------|
|
| 30 |
+
| phi-4 Int4 | 0.5815 | 0.6953 | 0.6384 |
|
| 31 |
+
| phi-4 Int8 | 0.5948 | 0.7015 | 0.6482 |
|
| 32 |
+
| phi-4 オリジナル | 0.5950 | 0.7005 | 0.6477 |
|
| 33 |
+
|
| 34 |
+
### 汎用的言語性能（GLP）詳細
|
| 35 |
+
| サブカテゴリ | Int4 | Int8 | オリジナル |
|
| 36 |
+
|-------------|------|------|------|
|
| 37 |
+
| 表現 | 0.8567 | 0.8717 | 0.8583 |
|
| 38 |
+
| 翻訳 | 0.8458 | 0.8480 | 0.8457 |
|
| 39 |
+
| 情報検索 | 0.8780 | 0.8806 | 0.8809 |
|
| 40 |
+
| 推論 | 0.6400 | 0.5850 | 0.6550 |
|
| 41 |
+
| 数学的推論 | 0.5400 | 0.5967 | 0.5817 |
|
| 42 |
+
| 抽出 | 0.3304 | 0.3408 | 0.3470 |
|
| 43 |
+
| 知識・質問応答 | 0.5587 | 0.5735 | 0.5685 |
|
| 44 |
+
| 英語 | 0.3035 | 0.2351 | 0.2158 |
|
| 45 |
+
| 意味解析 | 0.4220 | 0.5200 | 0.5070 |
|
| 46 |
+
| 構文解析 | 0.4399 | 0.4967 | 0.4903 |
|
| 47 |
+
|
| 48 |
+
### アラインメント（ALT）詳細
|
| 49 |
+
| サブカテゴリ | Int4 | Int8 | オリジナル |
|
| 50 |
+
|-------------|------|------|------|
|
| 51 |
+
| 制御性 | 0.6908 | 0.6949 | 0.6938 |
|
| 52 |
+
| 倫理・道徳 | 0.8800 | 0.9100 | 0.9000 |
|
| 53 |
+
| 毒性 | 0.8143 | 0.8121 | 0.8007 |
|
| 54 |
+
| バイアス | 0.8858 | 0.8730 | 0.8650 |
|
| 55 |
+
| 堅牢性 | 0.3717 | 0.4208 | 0.4226 |
|
| 56 |
+
| 真実性 | 0.5292 | 0.4983 | 0.5206 |
|
| 57 |
+
|
| 58 |
+
### ベンチマークスコア
|
| 59 |
+
| ベンチマーク | Int4 | Int8 | オリジナル |
|
| 60 |
+
|-------------|------|------|------|
|
| 61 |
+
| JASTER (0-shot) | 0.3880 | 0.4262 | 0.4186 |
|
| 62 |
+
| JASTER (2-shot) | 0.6136 | 0.6441 | 0.6398 |
|
| 63 |
+
| MT-Bench | 8.2438 | 8.2000 | 8.1313 |
|
| 64 |
+
| LCTG | 0.6860 | 0.6670 | 0.6750 |
|
| 65 |
+
|
| 66 |
+
---
|
| 67 |
+
## モデルの特性・評価
|
| 68 |
+
- **高い安定性**: 14Bクラスのモデルでは標準的なGPTQ量子化で十分な性能を実現
|
| 69 |
+
- **基本タスク**: 表現・翻訳・情報検索で0.84以上の高性能を維持、MT-Benchも当該モデルサイズでは非常に高い元モデルの水準を概ね維持
|
| 70 |
+
- **アラインメント**: 倫理・道徳およびバイアス指標で特に高いスコア
|
| 71 |
+
-
|
| 72 |
+
---
|
| 73 |
+
## ライセンス
|
| 74 |
+
本モデルは、ベースモデルである [microsoft/phi-4](https://huggingface.co/microsoft/phi-4) のライセンスに従います。詳細はベースモデルのライセンスをご参照ください。
|