[Llama-3.1-70B-EZO-1.1-it] Model Card

モデル情報 / Model Information

このモデルは、Meta AI の Llama 3.1 をベースに、日本語タスクでの性能を向上させるためにファインチューニングを行ったものです。ElyzaTasks-100 において、オープンソースモデルで「gpt-4o-mini を超えるスコア／日本最高峰のスコア」を達成しました。

This model is based on Meta AI's Llama 3.1, fine-tuned to enhance performance on Japanese language tasks. It achieved "scores surpassing gpt-4o-mini / the highest scores in Japan" among open-source models in ElyzaTasks-100.

法的通知 / Legal Notice

This model is subject to the Llama 3.1 Community License Agreement. For detailed information, please refer to the official Llama license page: Llama 3.1 License

このモデルは Llama 3.1 Community License Agreement に従います。詳細については、Llama の公式ライセンスページをご参照ください。

使用方法 / Usage

import transformers
import torch

model_id = "HODACHI/Llama-3.1-70B-EZO-1.1-it"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。特に指示が無い場合は、原則日本語で回答してください。"},
    {"role": "user", "content": "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"},
]

outputs = pipeline(
    messages,
    max_new_tokens=512,
)
print(outputs[0]["generated_text"][-1])

ベンチマーク結果 / Benchmark Results

制限事項と倫理的考慮事項 / Limitations and Ethical Considerations

本モデルは、Llama 3.1をベースにしているため、同様の制限事項と倫理的考慮事項が適用されます：

1. 予測不可能な出力: 全てのLLMと同様に、本モデルの潜在的な出力を事前に予測することはできません。場合によっては、不正確、偏見のある、あるいは問題のある応答を生成する可能性があります。

2. 安全性テストの必要性: 開発者は、本モデルを用いたアプリケーションをデプロイする前に、特定のアプリケーションに合わせた安全性テストとチューニングを実施する必要があります。

3. マルチリンガル対応: 本モデルは複数の言語をサポートしていますが、サポートされていない言語での使用は推奨されません。サポートされていない言語で使用する場合は、適切な方針に沿ったファインチューニングとシステム制御を実装する必要があります。

4. 新しい技術としてのリスク: 本モデルは新しい技術であり、他の新技術と同様に、その使用にはリスクが伴います。これまでのテストではすべてのシナリオをカバーしていない可能性があります。

5. 継続的な改善の必要性: コミュニティからのフィードバックや報告メカニズムを通じて、モデルの継続的な改善が必要です。

開発者と使用者は、これらの制限事項を認識し、責任ある使用を心がけることが重要です。詳細については、Llama 3.1のResponsible Use Guideを参照してください。

This model, being based on Llama 3.1, carries similar limitations and ethical considerations:

1. Unpredictable Outputs: Like all LLMs, this model's potential outputs cannot be predicted in advance. It may sometimes generate inaccurate, biased, or problematic responses.

2. Need for Safety Testing: Developers should perform safety testing and tuning tailored to their specific applications before deploying any applications using this model.

3. Multilingual Considerations: While this model supports multiple languages, use in non-supported languages is not recommended without implementing fine-tuning and system controls aligned with appropriate policies.

4. Risks as New Technology: This model represents new technology and, like any new technology, there are risks associated with its use. Testing to date may not have covered all scenarios.

5. Need for Continuous Improvement: Continuous improvement of the model is necessary through community feedback and reporting mechanisms.

It's crucial for developers and users to be aware of these limitations and strive for responsible use. For more information, please refer to the Llama 3.1 Responsible Use Guide.

[Model Data]

Training Dataset]

We extracted high-quality data from Japanese Wikipedia and FineWeb to create instruction data. Our innovative training approach allows for performance improvements across various languages and domains, making the model suitable for global use despite its focus on Japanese data.

日本語のWikiデータおよび、FineWebから良質なデータのみを抽出し、Instructionデータを作成しました。このモデルでは日本語に特化させていますが、世界中のどんなユースケースでも利用可能なアプローチです。

https://huggingface.co./datasets/legacy-datasets/wikipedia https://huggingface.co./datasets/HuggingFaceFW/fineweb

Data Preprocessing

We used a plain instruction tuning method to train the model on exemplary responses. This approach enhances the model's ability to understand and generate high-quality responses across various languages and contexts.

プレインストラクトチューニング手法+QLoRAを用いて、模範的回答を学習させました。この手法により、モデルは様々な言語やコンテキストにおいて高品質な応答を理解し生成する能力が向上しています。

Implementation Information

[Pre-Instruction Training]

https://huggingface.co./instruction-pretrain/instruction-synthesizer

[Disclaimer]

このモデルは研究開発のみを目的として提供されるものであり、実験的なプロトタイプとみなされるべきモデルです。 商業的な使用やミッションクリティカルな環境への配備を意図したものではありません。 本モデルの使用は、使用者の責任において行われるものとし、その性能および結果は保証されません。 Axcxept株式会社は、直接的、間接的、特別、偶発的、結果的な損害、または本モデルの使用から生じるいかなる損失に対しても、得られた結果にかかわらず、一切の責任を負いません。 利用者は、本モデルの使用に伴うリスクを十分に理解し、自己の判断で使用するものとします。

[Hardware]

H100 × 1(Running in 32h)

クレジット / Credits

This model is based on Meta AI's Llama 3.1. We acknowledge and thank the Meta AI team for their work on the base model.

このモデルは Meta AI の Llama 3.1 をベースにしています。ベースモデルの開発に携わった Meta AI チームに感謝と尊敬の意を表します。

[We are.]