Transformers

Get started

Tutorials

パイプラインを使用して推論を実行する AutoClass を使用して移植可能なコードを作成するデータの前処理事前トレーニングされたモデルを微調整するスクリプトを使用してトレーニングする 🤗 Accelerate を使用して分散トレーニングをセットアップする 🤗 PEFT を使用してアダプターをロードしてトレーニングするモデルを共有するエージェント LLM を使用した生成

Task Guides

自然言語処理

オーディオ

コンピュータビジョン

マルチモーダル

世代

プロンプト

開発者ガイド

🤗 トークナイザーの高速トークナイザーを使用する多言語モデルで推論を実行するモデル固有の API を使用するカスタムモデルを共有するチャットモデルのテンプレート ONNX へのエクスポート TFLite へのエクスポートトーチスクリプトへのエクスポートコミュニティリソースカスタムツールとプロンプトトラブルシューティング

パフォーマンスとスケーラビリティ

概要

効率的なトレーニングテクニック

単一の GPU で効率的にトレーニングするための方法とツール複数の GPU と並列処理 CPU での効率的なトレーニング分散CPUトレーニング TPU に関するトレーニング TensorFlow を使用した TPU のトレーニング特殊なハードウェアに関するトレーニングトレーニング用のカスタムハードウェア Trainer API を使用したハイパーパラメータ検索

推論の最適化

CPUでの推論 1 つの GPU での推論多くの GPU での推論特殊なハードウェアでの推論

大きなモデルのインスタンス化 TensorFlowモデルのXLA統合 torch.compile()を使用した推論の最適化

貢献する

🤗 Transformersにモデルを追加する方法テストプルリクエストのチェック

コンセプチュアルガイド

フィロソフィー用語集 🤗 Transformersの機能 🤗 Transformersがタスクを解決する方法 Transformerモデルファミリートークナイザーの概要注意機構パディングと切り詰め BERTology 固定長モデルのパープレキシティ Webサーバー推論用パイプラインモデルトレーニングの解剖学

API

主要なクラス

エージェントとツール Auto Classes コールバック構成データ照合者 Keras コールバックロギングモデルテキストの生成 ONNX 最適化モデルの出力パイプラインプロセッサー量子化トークナイザートレーナーディープスピードの統合特徴抽出器画像処理プロセッサ

モデル

文章モデル

ビジョンモデル

音声モデル

マルチモーダルモデル

強化学習モデル

時系列モデル

内部ヘルパー

カスタムレイヤーとユーティリティパイプライン用のユーティリティト=ークナイザー用のユーティリティトレーナー用ユーティリティ発電用ユーティリティ画像プロセッサ用ユーティリティオーディオ処理用のユーティリティ一般公共事業時系列用のユーティリティ

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.49.0).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Inference on Specialized Hardware

こちらのドキュメントは、専用のハードウェアでの推論方法についての情報がまもなく提供されます。その間に、CPUでの推論に関するガイドをご覧いただけます。the guide for inference on CPUs.

< > Update on GitHub

←多くの GPU での推論大きなモデルのインスタンス化→

Inference on Specialized Hardware