Llama 2: オープンファンデーションとファインチューンされたチャットモデル
最小限のデータしか与えられなくても、その知識を時間的な方法で整理する堅牢な能力を持っています。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc に時間の概念を植え付けるために、特定の日付に関連する1,000のSFT例を収集しました。これらの例には、「Barack Obamaが大統領になってからどれくらい経ちましたか？」といった質問が含まれていました。それぞれの質問には、クエリが提示された日付（これが回答に影響を与える）と、質問が無意味になる以前の時点であるイベント日付の2つの重要なメタデータが関連付けられていました。
この観察から、LLMは、次のトークンの予測と、その年代順に無作為にシャッフルされたデータに基づくトレーニングであるにもかかわらず、以前に想定されていた以上に時間の概念を内面化していることが示唆されています。
ツールの使用の出現 LLMとツールの統合は、Mialonetal.(2023)で強調されているように、成長している研究分野です。Toolformer(Schicketal.,2023)で考案されたアプローチには、何百万ものサンプリングが含まれています。

Llama 2: Open Foundation and Fine-Tuned Chat Models
robustcapabilitytoorganizeitsknowledgeinatemporalmanner,evenwhenprovidedwithminimaldata. To
instillaconceptoftimein L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc ,wecollectedasetof1,000SFTexamplesthatwererelatedtospeciﬁc
dates. Theseexamplesincludedquestionslike “Howlongago didBarackObama becomepresident?” Eachwas
associated with two critical pieces of metadata: the date when the query was posed — which inﬂuenced the
response — and the event date, a point in time prior to which the question would be nonsensical.
The observation suggests that LLMs have internalized the concept of time to a greater extent than previously
assumed,despitetheirtrainingbeingsolelybasedonnext-tokenpredictionanddatathatisrandomlyshuﬄed
without regard to their chronological context.
Tool Use Emergence The integration of LLMs with tools is a growing research area, as highlighted in
Mialonetal.(2023). TheapproachdevisedinToolformer(Schicketal.,2023)entailsthesamplingofmillions
33
Model ASDiv SVAMP MAWPS


ラマ2：オープンファウンデーションとファインチューンドチャットモデル
33
モデル ASDiv SVAMP MAWPS
OPT-66B 6.0 4.9 7.9
GPT-J 7.5 5.2 9.9
GPT-J + CC 9.6 5.0 9.3
GPT-3 14.0 10.0 19.8
Toolformer 40.4 29.4 44.0
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 67.1 69.2 82.4
表15：ツール使用時のパフォーマンス。Toolformerで使用された数学データセットの評価。異なるベースラインについて、Schick et al.（2023）のスコアを報告します。
軌道の数によるツールの使用、および各ツールのフューショット例の形成によって補完されます。ただし、この技術は、例ごとに1つのツールのみを使用して適用され、ツールの連続的な使用にはスケーリングされませんでした。
図23：ツールの使用の出現。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scは、ツールの応用とAPI引数を意味論だけで理解し、ツールの使用のためにトレーニングされたことがないにもかかわらず、それを実現します。

Llama 2: Open Foundation and Fine-Tuned Chat Models
33
Model ASDiv SVAMP MAWPS
OPT-66B 6.0 4.9 7.9
GPT-J 7.5 5.2 9.9
GPT-J + CC 9.6 5.0 9.3
GPT-3 14.0 10.0 19.8
Toolformer 40.4 29.4 44.0
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 67.1 69.2 82.4
Table 15: Performance with tool use. Evaluation on the math datasets used in Toolformer. For diﬀerent
baselines, we report the scores from Schick et al. (2023).
of trajectories, complemented by the formulation of few-shot examples for each tool. Nonetheless, this
techniquewasonlyappliedusingasingletoolperexample,andwouldnotscaleforasequenceoftoolusage.
Figure 23: Tool use emergence. L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc is able to understand the tools’s applications, and the API
arguments, just through the semantics, despite never having been trained to use tools.


Llama 2: オープンファウンデーションと微調整されたチャットモデル
議論は、意味論を通じてのみ、ツールの使用を訓練されたことがないにもかかわらず、引き起こされます。
OpenAIのプラグインのリリースは、学術コミュニティ内で大きな議論を引き起こし、次のような疑問を投げかけます：どのようにしてモデルにツールの使用を効果的に教えることができるのか？また、そのプロセスには大規模なデータセットが必要なのか？私たちの実験は、ツールの使用がゼロショットの状況で自発的に現れることを示しています。ツールの使用を明示的に注釈付けしたことはありませんが、図23は、モデルがゼロショットの状況でツールの連続を利用する能力を示したインスタンスを示しています。
さらに、私たちの研究は、計算機にアクセスできるL/l.sc/a.sc/m.sc/a.sc/t.scを評価することにも拡大しました。この特定の実験の結果は、表15に文書化されています。 LLMtooluseは興奮を呼ぶ一方で、いくつかの安全上の懸念も引き起こす可能性があります。この分野でのさらなるコミュニティ研究とレッドチーム活動を奨励します。
5.2 制限と倫理的考慮

Llama 2: Open Foundation and Fine-Tuned Chat Models
arguments, just through the semantics, despite never having been trained to use tools.
The release of OpenAI’s plugins‡‡has incited substantial discourse within the academic community, igniting
questions such as: How can we eﬀectively teach models to utilizetools? orDoes the processnecessitate a substantial
dataset?Our experiments indicate that tool usage can spontaneously emerge from alignment in a zero-shot
manner. Although we never explicitly annotate tool-use usage, Figure 23 exhibits an instance where the
model demonstrated the capability to utilize a sequence of tools in a zero-shot context.
In addition, our study extended to evaluating the L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc with access to a calculator. The results from
thisparticularexperimentaredocumentedinTable15. LLMtooluse,whileexciting,canalsocausesome
safety concerns. We encourage more community research and red teaming in this area.
5.2 Limitations and Ethical Considerations


Llama 2: オープンファンデーションと微調整されたチャットモデル
安全上の懸念。この分野でのコミュニティ研究とレッドチーム活動をさらに推奨します。
5.2 制限と倫理的考慮事項
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc は、他のLLMと同様によく認識されている制限事項に従っており、事前トレーニング後の知識更新の停止、未修飾のアドバイスなどの非事実的な生成の可能性、そして幻覚への傾向があります。
さらに、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc の初期バージョンは主に英語のデータに集中しています。
実験的な観察から、モデルは他の言語でも一定の熟練度を獲得していると示唆されていますが、その熟練度は限られており、主に英語以外の言語の事前トレーニングデータの限られた量によるものです（表10に記載されています）。そのため、英語以外の言語でのモデルの性能は脆弱であり、注意して使用する必要があります。

Llama 2: Open Foundation and Fine-Tuned Chat Models
safety concerns. We encourage more community research and red teaming in this area.
5.2 Limitations and Ethical Considerations
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc is subject to the same well-recognized limitations of other LLMs, including a cessation of
knowledge updates post-pretraining, potential for non-factual generation such as unqualiﬁed advice, and a
propensity towards hallucinations.
Furthermore,ourinitialversionof L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc predominantlyconcentratedonEnglish-languagedata.
While our experimental observations suggestthe model has garnered some proﬁciency in other languages,
itsproﬁciencyislimited,dueprimarilytothelimitedamountofpretrainingdataavailableinnon-English
languages(asdocumentedinTable10). Consequently,themodel’sperformanceinlanguagesotherthan
English remains fragile and should be used with caution.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
languages(asdocumentedinTable10)。したがって、モデルのパフォーマンスは英語以外の言語では依然として脆弱であり、注意して使用する必要があります。
他のLLMと同様に、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleは、公に利用可能なオンラインデータセットでのトレーニングにより、有害、攻撃的、または偏ったコンテンツを生成する可能性があります。私たちはこれをファインチューニングして緩和しようとしましたが、特に英語以外の言語では公に利用可能なデータセットが利用できなかったため、いくつかの問題が残る可能性があります。これらの問題に対処する過程で、将来的にファインチューニングを継続し、更新されたバージョンをリリースしていく予定です。
‡‡https://openai.com/blog/chatgpt-plugins
34
AIモデルを使用するすべての人が良い意図を持っているわけではなく、会話型AIエージェントは、誤情報の生成やバイオテロリズムやサイバー犯罪などのトピックに関する情報の取得など、悪意のある目的に悪用される可能性があります。ただし、これらのトピックを避け、それらの使用例に提供される可能性がある機能を減少させるためにモデルを調整する努力をしています。
安全性と有用性を合理的にバランスさせようと努めましたが、一部の場合において、安全性の調整が進む

Llama 2: Open Foundation and Fine-Tuned Chat Models
languages(asdocumentedinTable10). Consequently,themodel’sperformanceinlanguagesotherthan
English remains fragile and should be used with caution.
Like other LLMs, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle may generate harmful, oﬀensive, or biased content due to its training on publicly
available online datasets. We attempted to mitigate this via ﬁne-tuning, but some issues may remain,
particularlyforlanguagesotherthanEnglish wherepubliclyavailable datasetswerenotavailable. Wewill
continue to ﬁne-tune and release updated versions in the future as we progress on addressing these issues.
‡‡https://openai.com/blog/chatgpt-plugins
34
NoteveryonewhousesAImodelshasgoodintentions,andconversationalAIagentscouldpotentiallybe
usedfornefariouspurposessuchasgeneratingmisinformationorretrievinginformationabouttopicslike
bioterrorism or cybercrime. We have, however, made eﬀorts to tune the models to avoid these topics and
diminish any capabilities they might have oﬀered for those use cases.
While we attempted to reasonably balance safety with helpfulness, in some instances, our safety tuning goes


Llama 2: オープンファウンデーションとファインチューンされたチャットモデルは、それらの使用例に提供できる可能性を減少させます。私たちは安全性と有用性を合理的にバランスさせようとしましたが、一部の場合において、安全性の調整が行き過ぎてしまうことがあります。L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scのユーザーは、過度に慎重なアプローチを観察するかもしれず、モデルが特定のリクエストを断るか、あるいは安全に関する詳細を過剰に返すことがあります。事前に学習されたモデルのユーザーは特に慎重であり、責任ある使用ガイドに記載されているように、調整と展開に追加の手順を踏む必要があります。

5.3 責任あるリリース戦略
リリースの詳細。私たちはL/l.sc/a.sc/m.sc/a.sc/two.taboldstyleをhttps://ai.meta.com/resources/models-and-libraries/llama/で研究および商用利用の両方に提供しています。L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleを使用する者は、提供されたライセンスと当社の利用規約に準拠しなければならず、適用可能なポリシー、法律、規則、および規制に違反する使用を禁止しています。

Llama 2: Open Foundation and Fine-Tuned Chat Models
diminish any capabilities they might have oﬀered for those use cases.
While we attempted to reasonably balance safety with helpfulness, in some instances, our safety tuning goes
too far. Users of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc may observe an overly cautious approach, with the model erring on the side
of declining certain requests or responding with too many safety details.
Usersofthepretrainedmodelsneedtobeparticularlycautious,andshouldtakeextrastepsintuningand
deployment as described in our Responsible Use Guide.§§
5.3 Responsible Release Strategy
ReleaseDetails. Wemake L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle availableforbothresearchandcommercialuseat https://ai.meta.
com/resources/models-and-libraries/llama/ . Thosewhouse L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle mustcomplywiththetermsof
the provided license and our Acceptable Use Policy , which prohibit any uses that would violate applicable
policies, laws, rules, and regulations.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
提供されたライセンスと当社の利用規約に従い、適用可能なポリシー、法律、規則、および規制に違反する可能性のある使用を禁止しています。
また、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc とユーザー入力およびモデル出力レイヤーで基本的な安全技術を適用するためのコード例も提供しています。これらのコード例はこちらで入手できます: https://github.com/facebookresearch/llama 。最後に、安全な開発と展開に関するガイドラインを提供する「責任ある利用ガイド」も共有しています。
責任あるリリース。多くの企業がAIを閉ざした環境で開発することを選択していますが、私たちは L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle をオープンに公開し、責任あるAIイノベーションを奨励しています。私たちの経験に基づくと、オープンなアプローチはAI実践者コミュニティの集合知、多様性、創造性を活用し、この技術の利点を実現することができます。協力によってこれらのモデルをより良く、安全にすることができます。学術研究者、市民社会、政策立案者、産業など、AIコミュニティ全体が協力して厳密に分析し、露出させる必要があります。

Llama 2: Open Foundation and Fine-Tuned Chat Models
the provided license and our Acceptable Use Policy , which prohibit any uses that would violate applicable
policies, laws, rules, and regulations.
Wealsoprovidecodeexamplestohelpdevelopersreplicateoursafegenerationswith L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc and
applybasicsafetytechniquesattheuserinputandmodeloutputlayers. Thesecodesamplesareavailable
here: https://github.com/facebookresearch/llama . Finally,wearesharinga ResponsibleUseGuide ,which
provides guidelines regarding safe development and deployment.
ResponsibleRelease. WhilemanycompanieshaveoptedtobuildAIbehindcloseddoors,wearereleasing
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle openly to encourage responsible AI innovation. Based on our experience, an open approach draws
uponthecollectivewisdom,diversity,andingenuityoftheAI-practitionercommunitytorealizethebeneﬁtsof
thistechnology. Collaborationwillmakethesemodelsbetterandsafer. TheentireAIcommunity—academic
researchers, civil society, policymakers, and industry—must work together to rigorously analyze and expose


Llama 2: オープンファウンデーションとファインチューンドチャットモデル
研究者、市民社会、政策立案者、産業は、現在のAIシステムのリスクを厳密に分析し、暴露し、潜在的に問題を引き起こす誤用に対処する解決策を構築するために協力する必要があります。 このアプローチは、多様な利害関係者との実際の協力を促進するだけでなく、ビッグテック企業の壁を超えた人々との協力の礎としても機能します。 Zellers et al.（2019b）で主張されているように、オープンリリースは透明性を促進し、より多くの人々がAIツールにアクセスできるようにし、技術の民主化とAIの専門知識の分散化を可能にします。私たちは、AIの専門知識の分散化が知識を単に分配するだけでなく、イノベーションを刺激し、産業の進歩を加速すると信じています。最後に、これらのモデルを公開することでコストを統合し、参入障壁を排除することで、小規模企業がLLMの革新を活用してテキスト生成のユースケースを探索し、構築することができます。最終的に、私たちは、AIの進展によって約束された経済成長から世界中のあらゆる規模の組織が利益を得るために、より公平な競争環境を作り出すと信じています。
AIモデルを使用するすべての人が良い意図を持っているわけではないことを知っています。また、AIが世界に与える影響に関する合理的な懸念があることを認識しています。有害なコンテンツの生成や

Llama 2: Open Foundation and Fine-Tuned Chat Models
researchers, civil society, policymakers, and industry—must work together to rigorously analyze and expose
the risks of current AI systems and to build solutions that address potentially problematic misuse. This
approachnotonlyfostersrealcollaborationwithdiversestakeholders—thosebeyondthewallsofbigtech
companies—but also serves as the cornerstone for democratizing access to foundational models. As argued
in Zellers et al. (2019b), open releases promote transparency and allow more people to access AI tools,
democratizingthetechnologyanddecentralizingAIexpertise. WebelievethatthedecentralizationofAI
expertisedoesmorethansimplydistributeknowledge—itstimulatesinnovationandacceleratesprogress
in the industry. Lastly, openly releasing these models consolidates costs and eliminates barriers to entry,
allowingsmallbusinessestoleverageinnovationsinLLMstoexploreandbuildtext-generationusecases.
Ultimately, we believe this will create a more level playing ﬁeld for organizations of all sizes across the globe
to beneﬁt from the economic growth promised by the advancement of AI.
We know that not everyone who uses AI models has good intentions, and we acknowledge that there
are reasonable concerns regarding the ways that AI will impact our world. Toxic content generation and


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
AIモデルを使用するすべての人が良い意図を持っているわけではないことを知っており、AIが世界に与える影響についての合理的な懸念があることを認めています。有害なコンテンツの生成や問題のある関連付けは、AIコミュニティがまだ完全に軽減していない重要なリスクです。この論文が示すように、これらのタイプの応答の普及を制限するために進展を遂げてきました。私たちはまだ行うべき作業があることを認識していますが、この認識はオープンサイエンスとAIコミュニティとの協力への私たちの取り組みをより深めるだけです。
6 関連する研究
大規模言語モデル。近年、LLMの分野で著しい進化が見られています。Kaplanらのスケーリング則に従い、100B以上のパラメータを持ついくつかの大規模言語モデルが提案されてきました。GPT-3（Brownら、2020）からGopher（Raeら、2022）や科学用のGalacticaなどの専門モデル（Taylorら、2022）までが含まれます。70Bのパラメータを持つChinchilla（Hoﬀmannら、2022）は、モデルの重みではなくトークンの数に対するスケーリング則を再定義しました。この進展の中で注目すべきは、推論中の計算効率に焦点を当てたLlamaの台頭です。

Llama 2: Open Foundation and Fine-Tuned Chat Models
We know that not everyone who uses AI models has good intentions, and we acknowledge that there
are reasonable concerns regarding the ways that AI will impact our world. Toxic content generation and
problematic associations are meaningful risks that the AI community has yet to fully mitigate. As this
paper illustrates, we have made strides in limiting the prevalence of these types of responses. While we
recognize there is more work to be done, this realization only deepens our commitment to open science and
collaboration with the AI community.
6 Related Work
Large Language Models. The recent years have witnessed a substantial evolution in the ﬁeld of LLMs.
Following the scaling laws of Kaplan et al. (2020), several Large Language Models with more than 100B
parameters have been proposed, from GPT-3 (Brown et al., 2020) to Gopher (Rae et al., 2022) or specialized
models, e.g. Galactica, for science(Taylor et al., 2022). With 70B parameters, Chinchilla (Hoﬀmann et al.,
2022) redeﬁned those scaling laws towards the number of tokens rather than model weights. Notable in
thisprogressionistheriseofLlama,recognizedforitsfocusoncomputationaleﬃciencyduringinference


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
この進展は、推論中の計算効率に焦点を当てたことで認識されているLlamaの台頭である（Touvron et al.、2023）。同時に、オープンソースとクローズドソースモデルの動向についての並行した議論が展開されてきた。BLOOM（Scao et al.、2022）、OPT（Zhang et al.、2022）、およびFalcon（Penedo et al.、2023）などのオープンソースのリリースが、GPT-3やChinchillaなどのクローズドソースの対抗馬に挑戦してきた。
§§https://ai.meta.com/llama
35
しかし、「本番向け」のChatGPT、Bard、およびClaudeなどのLLMには、性能と使いやすさにおいて著しい違いがある。これらのモデルは、人間の好みに合わせるために入念な調整技術に依存しており（Gudibande et al.、2023）、このプロセスはまだオープンソースコミュニティ内で探求および改良されている。
このギャップを埋める試みとして、Vicuna（Chiang et al.、2023）やAlpaca（Taori et al.、2023）などの蒸留ベースのモデルが登場し、合成指示によるトレーニングに独自のアプローチを採用している（Honovich et al.、2023）。

Llama 2: Open Foundation and Fine-Tuned Chat Models
thisprogressionistheriseofLlama,recognizedforitsfocusoncomputationaleﬃciencyduringinference
(Touvron et al., 2023). A parallel discourse has unfolded around the dynamics of open-source versus closedsourcemodels. Open-sourcereleaseslikeBLOOM(Scaoetal.,2022),OPT(Zhangetal.,2022),andFalcon
(Penedo et al., 2023) have risen to challenge their closed-source counterparts like GPT-3 and Chinchilla.
§§https://ai.meta.com/llama
35
Yet,whenitcomestothe"production-ready"LLMssuchasChatGPT,Bard,andClaude,there’samarked
distinction in performance and usability. These models rely on intricate tuning techniques to align with
human preferences (Gudibande et al., 2023), a process that is still being explored and reﬁned within the
open-source community.
Attempts to close this gap have emerged, with distillation-based models such as Vicuna (Chiang et al., 2023)
andAlpaca(Taorietal.,2023)adoptingauniqueapproachtotrainingwithsyntheticinstructions(Honovich


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
およびAlpaca（Taorietal。、2023）は、合成指示を用いたトレーニングに独自のアプローチを採用しています（Honovich
et al.、2022; Wang et al.、2022）。しかし、これらのモデルは有望な面を示しているものの、まだクローズドソースの対応モデルには及ばないという課題が残っています。
指示チューニング。Weietal。（2021）は、様々なデータセットでLLMをファインチューニングすることで未知のタスクでのゼロショットパフォーマンスを得ました。Chungetal。（2022）およびLongpreetal。（2023）は、タスクの数、モデルサイズ、プロンプト設定などの要素としての指示チューニングの影響を調査しました。指示チューニングに使用されるプロンプトは、人間によって作成されることも、LLM自体によって作成されることもあります（Zhouetal。、2022）、そして、フォローアップの指示は初期の生成物をより有用で魅力的で偏りのないものにするために使用されることがあります（Gangulietal。、2023; Madaan
et al.、2023）。指示チューニングに関連するアプローチとしては、思考の連鎖プロンプティング（Wei et al.、2022b）があります。これは、複雑な問題が与えられた際にモデルにその推論を説明するよう促すことで、最終的な回答が正しい可能性を高めることを目的としています。

Llama 2: Open Foundation and Fine-Tuned Chat Models
andAlpaca(Taorietal.,2023)adoptingauniqueapproachtotrainingwithsyntheticinstructions(Honovich
et al., 2022; Wang et al., 2022). However, while these models show promise, they still fall short of the bar set
by their closed-source counterparts.
InstructionTuning. Weietal.(2021)obtainedzero-shotperformanceonunseentasksbyﬁne-tuningLLMs
onnumerousdatasets. Chungetal.(2022)andLongpreetal.(2023)investigatetheimpactofinstruction
tuningasafunctionofnumberoftasks,modelsize,promptsettings,etc. Promptsusedforinstructiontuning
canbecreatedbyhumansorbyLLMsthemselves(Zhouetal.,2022),andfollow-upinstructionscanbeused
toreﬁneinitialgenerationstomakethemmoreuseful,engaging,andunbiased(Gangulietal.,2023;Madaan
et al., 2023). An approach related to instruction tuning is chain-of-thought prompting (Wei et al., 2022b), in
whichmodels areprompted toexplain theirreasoningwhen givena complexproblem, inorder toincrease
the likelihood that their ﬁnal answer is correct.


Llama 2: オープンファンデーションとファインチューンされたチャットモデル
複雑な問題が与えられた際に、その理論を説明するように促されるモデルは、最終的な答えが正しい可能性を高めるために増加します。
RLHFは、大規模言語モデルの調整において強力な戦略として登場し、その性能を著しく向上させることができます（Christiano et al.、2017）。この手法は、最初にStiennon et al.（2020）によってテキスト要約のタスクの文脈で披露され、その後、他の様々なアプリケーションに拡張されてきました。
このパラダイムでは、モデルは人間のユーザーからのフィードバックに基づいてファインチューニングされ、その結果、モデルの応答が人間の期待や好みにより密接に一致するように反復的に調整されます。
Ouyang et al.（2022）は、指示のファインチューニングとRLHFの組み合わせが、LLMの単純なスケーリングでは修復できない事実性、有害性、および有用性の問題を解決するのに役立つことを示しています。Bai et al.（2022b）は、このファインチューニングプラスRLHFアプローチを部分的に自動化し、人間がラベル付けしたファインチューニングデータをモデル自身の自己批評と修正に置き換え、人間の評価者を置き換えることでいます。

Llama 2: Open Foundation and Fine-Tuned Chat Models
whichmodels areprompted toexplain theirreasoningwhen givena complexproblem, inorder toincrease
the likelihood that their ﬁnal answer is correct.
RLHF has emerged as a powerful strategy for ﬁne-tuning Large Language Models, enabling signiﬁcant
improvements in their performance (Christiano et al., 2017). The method, ﬁrst showcased by Stiennon et al.
(2020) in the context of text-summarization tasks, has since been extended to a range of other applications.
In this paradigm, models are ﬁne-tuned based on feedback from human users, thus iteratively aligning the
models’ responses more closely with human expectations and preferences.
Ouyang et al. (2022) demonstrates that a combination of instruction ﬁne-tuning and RLHF can help ﬁx
issues with factuality, toxicity, and helpfulness that cannot be remedied by simply scaling up LLMs. Bai
et al. (2022b) partially automates this ﬁne-tuning-plus-RLHF approach by replacing the human-labeled
ﬁne-tuningdatawiththemodel’sownself-critiquesandrevisions,andbyreplacinghumanraterswitha


ラマ2：オープンファンデーションとファインチューンドチャットモデル
モデル自体の自己批評と改訂によるモデルのデータの微調整、およびRLHFでのモデルの出力のランキングにおいて人間の評価者をモデルで置き換えるプロセス、「AIフィードバックからのRL（RLAIF）」として知られるプロセスによって。
既知のLLMセーフティチャレンジ。最近の文献では、大規模言語モデルに関連するリスクや課題が広く探求されています。Bender et al.（2021b）およびWeidinger et al.（2021）は、バイアス、有害性、個人データの漏洩、および悪用の可能性など、さまざまな危険を強調しています。Solaiman et al.（2023）は、これらの影響を基本システム内で評価できるものと社会的文脈の評価が必要なものに分類し、Kumar et al.（2022）は潜在的な害を抑制するための緩和策を提供しています。Roller et al.（2020）やDinan et al.（2021）の研究では、チャットボット志向のLLMに関連する困難が明らかにされており、プライバシーから誤解を招く専門知識の主張まで懸念が広がっています。Deng et al.（2023）はこれらの問題に取り組むための分類フレームワークを提案し、Bergman et al.（2022）はバランスの取れたアプローチについて掘り下げています。

Llama 2: Open Foundation and Fine-Tuned Chat Models
ﬁne-tuningdatawiththemodel’sownself-critiquesandrevisions,andbyreplacinghumanraterswitha
model when ranking model outputs in RLHF, a process known as “RL from AI Feedback” (RLAIF).
KnownLLMSafetyChallenges. Recentliteraturehasextensivelyexploredtherisksandchallengeslinked
with Large Language Models. Bender et al. (2021b) and Weidinger et al. (2021) underscore various hazards
likebias,toxicity,privatedataleakage,andthepotentialformalicioususes. Solaimanetal.(2023)categorizes
theseimpactsintotwogroups—thosethatcanbeassessedwithinthebasesystemandthoserequiringa
societal context evaluation, while Kumar et al. (2022) oﬀers potential mitigation strategies to curb harm.
WorkfromRolleretal.(2020)andDinanetal.(2021)alsoilluminatesthediﬃcultiestiedtochatbot-oriented
LLMs, with concerns ranging from privacy to misleading expertise claims. Deng et al. (2023) proposes
a taxonomic framework to tackle these issues, and Bergman et al. (2022) delves into the balance between


Llama 2: オープンファンデーションと微調整されたチャットモデル
これらの問題に取り組むための分類フレームワーク、およびBergmanら（2022）は、対話モデルのリリースによる潜在的なポジティブおよびネガティブな影響のバランスについて掘り下げています。
InvestigationsintoredteamingrevealspeciﬁcchallengesintunedLLMsでは、Ganguliら（2022）やZhuoら（2023）の研究により、成功した攻撃タイプとその有害なコンテンツ生成への影響のさまざまな例が紹介されています。また、Mialonら（2023）などの国家安全保障機関やさまざまな研究者は、先進的な新興モデルの振る舞い、サイバー脅威、および生物戦などの分野での潜在的な誤用についても警告を発しています。最後に、加速されたAI研究による雇用の変位や、LLMへの過度な依存がトレーニングデータの劣化につながるというような広範な社会的問題も重要な検討事項です（Acemoglu and Restrepo、2018年；Autor and Salomons、2018年；Webb、2019年；Shumailovら、2023年）。私たちは、これらの問題について広範な政策、学術、および産業界との連携を継続することに取り組んでいます。
7 結論

Llama 2: Open Foundation and Fine-Tuned Chat Models
a taxonomic framework to tackle these issues, and Bergman et al. (2022) delves into the balance between
potential positive and negative impacts from releasing dialogue models.
InvestigationsintoredteamingrevealspeciﬁcchallengesintunedLLMs,withstudiesbyGangulietal.(2022)
and Zhuoet al. (2023) showcasing a variety ofsuccessful attack typesand their eﬀects onthe generation of
harmful content. National security agencies and various researchers, such as (Mialon et al., 2023), have also
raisedredﬂagsaroundadvancedemergentmodelbehaviors,cyberthreats,andpotentialmisuseinareaslike
biological warfare. Lastly, broader societal issues like job displacement due to accelerated AI research and an
over-reliance on LLMs leading to training data degradation are also pertinent considerations (Acemoglu
andRestrepo,2018;AutorandSalomons,2018;Webb,2019;Shumailovetal.,2023). Wearecommittedto
continuing our work engaging with the broader policy, academic, and industry community on these issues.
7 Conclusion


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
広範な政策、学術、および産業コミュニティとの取り組みを継続しています。
7 結論
本研究では、7億から70億のパラメータを持つ新しい事前学習およびファインチューニングモデルファミリーである L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle を紹介しました。これらのモデルは、既存のオープンソースのチャットモデルと同等の競争力を示し、評価セットで一部の独自のモデルと同等の能力を示しましたが、まだ GPT-4 のような他のモデルには及びません。私たちは、当社のモデルの達成に適用された方法と技術について詳細に説明し、その際には役立ちさと安全性との一致に重点を置きました。社会により大きな貢献をし、研究のペースを促進するために、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle および L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc へのアクセスを責任を持って開放しました。これは、私たちの持続的な取り組みの一環としています。

Llama 2: Open Foundation and Fine-Tuned Chat Models
continuing our work engaging with the broader policy, academic, and industry community on these issues.
7 Conclusion
Inthisstudy,wehaveintroduced L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle,anewfamilyofpretrainedandﬁne-tunedmodelswithscales
of7billionto70billionparameters. Thesemodelshavedemonstratedtheircompetitivenesswithexisting
open-source chat models, as well as competency that is equivalent to some proprietary models on evaluation
setsweexamined,althoughtheystilllagbehindothermodelslikeGPT-4. Wemeticulouslyelaboratedonthe
methodsandtechniquesappliedinachievingourmodels,withaheavyemphasisontheiralignmentwiththe
principlesofhelpfulnessandsafety. Tocontributemoresigniﬁcantlytosocietyandfosterthepaceofresearch,
wehaveresponsiblyopenedaccessto L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle andL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc . Aspartofourongoingcommitmentto


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
透明性と安全性について、Llama 2に今後の作業でさらなる改善を行う予定です。
36
参考文献
Daron Acemoglu and Pascual Restrepo. Artiﬁcial intelligence, automation, and work. In The economics of
artiﬁcial intelligence: An agenda , pages 197–236. University of Chicago Press, 2018.
Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebrón, and Sumit Sanghai.
Gqa: Training generalized multi-query transformer models from multi-head checkpoints, 2023.
Ebtesam Almazrouei, Hamza Alobeidli, Abdulaziz Alshamsi, Alessandro Cappelli, Ruxandra Cojocaru,
Merouane Debbah, Etienne Goﬃnet, Daniel Heslow, Julien Launay, Quentin Malartic, Badreddine Noune,
Baptiste Pannier, and Guilherme Penedo. Falcon-40B: an open large language model with state-of-the-art
performance. 2023.

Llama 2: Open Foundation and Fine-Tuned Chat Models
transparency and safety, we plan to make further improvements to L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc in future work.
36
References
Daron Acemoglu and Pascual Restrepo. Artiﬁcial intelligence, automation, and work. In The economics of
artiﬁcial intelligence: An agenda , pages 197–236. University of Chicago Press, 2018.
Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebrón, and Sumit Sanghai.
Gqa: Training generalized multi-query transformer models from multi-head checkpoints, 2023.
Ebtesam Almazrouei, Hamza Alobeidli, Abdulaziz Alshamsi, Alessandro Cappelli, Ruxandra Cojocaru,
Merouane Debbah, Etienne Goﬃnet, Daniel Heslow, Julien Launay, Quentin Malartic, Badreddine Noune,
Baptiste Pannier, and Guilherme Penedo. Falcon-40B: an open large language model with state-of-the-art
performance. 2023.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
バティスト・パニエ、ギルヘルメ・ペネド。Falcon-40B: 最先端の性能を持つオープンな大規模言語モデル。2023年。
ロハン・アニル、アンドリュー・M・ダイ、オルハン・フィラット、メルヴィン・ジョンソン、ドミトリー・レピヒン、アレクサンドレ・パソス、シアマク・シャケリ、エマニュエル・タロパ、ペイジ・ベイリー、ジフェン・チェン、エリック・チュウ、ジョナサン・H・クラーク、ローレン・エル・シャフェイ、ヤンピン・ファン、キャシー・マイヤー＝ヘルスターン、ガウラブ・ミシュラ、エリカ・モレイラ、マーク・オメルニック、ケビン・ロビンソン、セバスチャン・ルーダー、イー・テイ、ケファン・シャオ、袁忠・許、于静・張、グスタボ・エルナンデス・アブレゴ、ジュンファン・アン、ジェイコブ・オースティン、ポール・バーハム、ヤン・ボータ、ジェームズ・ブラッドバリー、シッダールタ・ブラーマ、ケビン・ブルックス、ミシェル・カタスタ、ヨン・チェン、コリン・チェリー、クリストファー・A・ショケット・チュー、アーカンシャ・チョウダリー、クレメント・クレピ、シャチ・デイヴ、モスタファ・デフガニ、スニパ・デヴ、ジェイコブ・デヴリン、マーク・ディアス、南・杜、イーサン・ダイヤー、ウラド

Llama 2: Open Foundation and Fine-Tuned Chat Models
Baptiste Pannier, and Guilherme Penedo. Falcon-40B: an open large language model with state-of-the-art
performance. 2023.
Rohan Anil, Andrew M. Dai, Orhan Firat, Melvin Johnson, Dmitry Lepikhin, Alexandre Passos, Siamak
Shakeri, Emanuel Taropa, Paige Bailey, Zhifeng Chen, Eric Chu, Jonathan H. Clark, Laurent El Shafey,
Yanping Huang, Kathy Meier-Hellstern, Gaurav Mishra, Erica Moreira, Mark Omernick, Kevin Robinson,
Sebastian Ruder, Yi Tay, Kefan Xiao, Yuanzhong Xu, Yujing Zhang, Gustavo Hernandez Abrego, Junwhan
Ahn,JacobAustin,Paul Barham,JanBotha,JamesBradbury,SiddharthaBrahma,Kevin Brooks,Michele
Catasta,YongCheng,ColinCherry,ChristopherA.Choquette-Choo,AakankshaChowdhery,Clément
Crepy,Shachi Dave, MostafaDehghani, SunipaDev,JacobDevlin, MarkDíaz,Nan Du,EthanDyer, Vlad


Llama 2: オープンファンデーションとファインチューンされたチャットモデル
Crepy、Shachi Dave、Mostafa Dehghani、Sunipa Dev、Jacob Devlin、Mark Díaz、Nan Du、Ethan Dyer、Vlad Feinberg、Fangxiaoyu Feng、Vlad Fienber、Markus Freitag、Xavier Garcia、Sebastian Gehrmann、Lucas Gonzalez、Guy Gur-Ari、Steven Hand、Hadi Hashemi、Le Hou、Joshua Howland、Andrea Hu、Jeffrey Hui、Jeremy Hurwitz、Michael Isard、Abe Ittycheriah、Matthew Jagielski、Wenhao Jia、Kathleen Kenealy、Maxim Krikun、Sneha Kudugunta、Chang Lan、Katherine Lee、Benjamin Lee、Eric Li、Music Li、Wei Li、YaGuang Li、Jian Li、Hyeontaek Lim、Hanzhao Lin、Zhongtao Liu、Frederick Liu、Marcello Maggioni、Aroma Mahendru、Joshua Maynez、Vedant Misra、Maysam Moussalem、Zachary Nado、John Nham、Eric Ni、Andrew Nystrom、Alicia Parrish、Marie Pellat、Martin Polacek、Alex Polozov、Reiner Pope、Siyuan Qiao

Llama 2: Open Foundation and Fine-Tuned Chat Models
Crepy,Shachi Dave, MostafaDehghani, SunipaDev,JacobDevlin, MarkDíaz,Nan Du,EthanDyer, Vlad
Feinberg, Fangxiaoyu Feng, Vlad Fienber, Markus Freitag, Xavier Garcia, Sebastian Gehrmann, Lucas
Gonzalez, Guy Gur-Ari, Steven Hand, Hadi Hashemi, Le Hou, Joshua Howland, Andrea Hu, Jeﬀrey
Hui,JeremyHurwitz,MichaelIsard,AbeIttycheriah,MatthewJagielski,WenhaoJia,KathleenKenealy,
Maxim Krikun, Sneha Kudugunta, Chang Lan, Katherine Lee, Benjamin Lee, Eric Li, Music Li, Wei Li,
YaGuang Li, Jian Li, Hyeontaek Lim, Hanzhao Lin, Zhongtao Liu, Frederick Liu, Marcello Maggioni,
Aroma Mahendru, Joshua Maynez, Vedant Misra, Maysam Moussalem, Zachary Nado, John Nham, Eric
Ni,AndrewNystrom,AliciaParrish,MariePellat,MartinPolacek,AlexPolozov,ReinerPope,SiyuanQiao,


Llama 2: オープンファンデーションとファインチューンされたチャットモデル
Ni、Andrew Nystrom、Alicia Parrish、Marie Pellat、Martin Polacek、Alex Polozov、Reiner Pope、Siyuan Qiao、Emily Reif、Bryan Richter、Parker Riley、Alex Castro Ros、Aurko Roy、Brennan Saeta、Rajkumar Samuel、Renee Shelby、Ambrose Slone、Daniel Smilkov、David R. So、Daniel Sohn、Simon Tokumine、Dasha Valter、Vijay Vasudevan、Kiran Vodrahalli、Xuezhi Wang、Pidong Wang、Zirui Wang、Tao Wang、John Wieting、Yuhuai Wu、Kelvin Xu、Yunhan Xu、Linting Xue、Pengcheng Yin、Jiahui Yu、Qiao Zhang、Steven Zheng、Ce Zheng、Weikang Zhou、Denny Zhou、Slav Petrov、およびYonghui Wu。Palm 2 technical report, 2023.
Amanda Askell、Yuntao Bai、Anna Chen、Dawn Drain、Deep Ganguli、Tom Henighan、Andy Jones、Nicholas Joseph、Ben Mann、Nova DasSarma、Nelson Elhage、Zac Hatﬁeld-Dodds、Danny Hernandez、Jackson

Llama 2: Open Foundation and Fine-Tuned Chat Models
Ni,AndrewNystrom,AliciaParrish,MariePellat,MartinPolacek,AlexPolozov,ReinerPope,SiyuanQiao,
Emily Reif, Bryan Richter, Parker Riley, Alex Castro Ros, Aurko Roy, Brennan Saeta, Rajkumar Samuel,
Renee Shelby, Ambrose Slone, Daniel Smilkov, David R. So, Daniel Sohn, Simon Tokumine, Dasha Valter,
Vijay Vasudevan, Kiran Vodrahalli, Xuezhi Wang, Pidong Wang, Zirui Wang, Tao Wang, John Wieting,
Yuhuai Wu, Kelvin Xu, Yunhan Xu, Linting Xue, Pengcheng Yin, Jiahui Yu, Qiao Zhang, Steven Zheng,
Ce Zheng, Weikang Zhou, Denny Zhou, Slav Petrov, and Yonghui Wu. Palm 2 technical report, 2023.
Amanda Askell, Yuntao Bai, Anna Chen, Dawn Drain, Deep Ganguli, Tom Henighan, Andy Jones, Nicholas
Joseph, Ben Mann, Nova DasSarma, Nelson Elhage, Zac Hatﬁeld-Dodds, Danny Hernandez, Jackson


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
Joseph、Ben Mann、Nova DasSarma、Nelson Elhage、Zac Hatﬁeld-Dodds、Danny Hernandez、Jackson
Kernion、Kamal Ndousse、Catherine Olsson、Dario Amodei、Tom Brown、Jack Clark、Sam McCandlish、および
Chris Olah。アライメントのための一般言語アシスタントとしての実験室。arXivプリントarXiv:2112.00861、2021a。
Amanda Askell、Yuntao Bai、Anna Chen、Dawn Drain、Deep Ganguli、Tom Henighan、Andy Jones、Nicholas
Joseph、Ben Mann、Nova DasSarma、他。アライメントのための一般言語アシスタントとしての実験室。arXiv
プリントarXiv:2112.00861、2021b。
Jacob Austin、Augustus Odena、Maxwell Nye、Maarten Bosma、Henryk Michalewski、David Dohan、Ellen
Jiang、Carrie Cai、Michael Terry、Quoc Le、およびCharles Sutton。大規模言語モデルによるプログラム合成、2021年。
David Autor and Anna Salomons。自動化は労働を減少させるか？生産性の成長、雇用、および労働シェア。National Bureau of Economic Research、2018年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
Joseph, Ben Mann, Nova DasSarma, Nelson Elhage, Zac Hatﬁeld-Dodds, Danny Hernandez, Jackson
Kernion,KamalNdousse,CatherineOlsson,DarioAmodei,TomBrown,JackClark,SamMcCandlish,and
ChrisOlah. Agenerallanguageassistantasalaboratoryforalignment. arXivpreprintarXiv:2112.00861 ,
2021a.
Amanda Askell, Yuntao Bai, Anna Chen, Dawn Drain, Deep Ganguli, Tom Henighan, Andy Jones, Nicholas
Joseph,BenMann,NovaDasSarma,etal. Agenerallanguageassistantasalaboratoryforalignment. arXiv
preprint arXiv:2112.00861 , 2021b.
JacobAustin,AugustusOdena,MaxwellNye,MaartenBosma,HenrykMichalewski,DavidDohan,Ellen
Jiang, Carrie Cai, Michael Terry, Quoc Le, and Charles Sutton. Program synthesis with large language
models, 2021.
DavidAutorandAnnaSalomons. Isautomationlabor-displacing? productivitygrowth,employment,and
the labor share. Technical report, National Bureau of Economic Research, 2018.


Llama 2: オープンファンデーションと微調整されたチャットモデル
労働者のシェア。技術レポート、全米経済研究所、2018年。
YuntaoBai、AndyJones、KamalNdousse、AmandaAskell、AnnaChen、NovaDasSarma、DawnDrain、Stanislav
Fort、DeepGanguli、TomHenighan、他。人間のフィードバックからの強化学習による役立つ無害なアシスタントのトレーニング。arXivプレプリントarXiv:2204.05862、2022年。
Yuntao Bai、Saurav Kadavath、Sandipan Kundu、Amanda Askell、Jackson Kernion、Andy Jones、Anna Chen、
Anna Goldie、Azalia Mirhoseini、Cameron McKinnon、他。憲法ai：aiフィードバックからの無害性。arXivプレプリントarXiv:2212.08073、2022年。
AprilHBailey、AdinaWilliams、AndreiCimpian。インターネット上の数十億の単語に基づく、people=men. Science Advances、8(13)：eabm2463、2022年。
Emily M Bender、Timnit Gebru、Angelina McMillan-Major、Margaret Mitchell。確率的なオウムの危険性：言語モデルは大きすぎることがあるか？2021年の公正性に関するACMカンファレンスの論文集にて。

Llama 2: Open Foundation and Fine-Tuned Chat Models
the labor share. Technical report, National Bureau of Economic Research, 2018.
YuntaoBai,AndyJones,KamalNdousse,AmandaAskell,AnnaChen,NovaDasSarma,DawnDrain,Stanislav
Fort,DeepGanguli,TomHenighan,etal. Trainingahelpfulandharmlessassistantwithreinforcement
learning from human feedback. arXiv preprint arXiv:2204.05862 , 2022a.
Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen,
Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, et al. Constitutional ai: Harmlessness from ai
feedback. arXiv preprint arXiv:2212.08073 , 2022b.
AprilHBailey,AdinaWilliams,andAndreiCimpian. Basedonbillionsofwordsontheinternet,people=
men.Science Advances , 8(13):eabm2463, 2022.
Emily M Bender, Timnit Gebru, Angelina McMillan-Major, and Margaret Mitchell. On the dangers of
stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness,


Llama 2: オープンファウンデーションと微調整されたチャットモデル
stochastic parrots: 言語モデルは大きすぎることがあるか？2021年ACM公正性、説明責任、透明性会議論文集、610–623ページ、2021年。
EmilyMBender、TimnitGebru、AngelinaMcMillan-Major、ShmargaretShmitchell。stochasticparrotsの危険性：言語モデルは大きすぎることがあるか？2021年ACM公正性、説明責任、透明性会議論文集、610–623ページ、2021年。
37
A Stevie Bergman、Gavin Abercrombie、Shannon L Spruit、Dirk Hovy、Emily Dinan、Y-Lan Boureau、Verena Rieser。価値重視設計を通じた安全なe2e対話型AIのリリースを導く。第23回特別興味グループ対話と対話の年次会議論文集、39–52ページ、2022年。
Shaily Bhatt、Sunipa Dev、Partha Talukdar、Shachi Dave、Vinodkumar Prabhakaran。NLPにおける公正性の再文脈化：インドの事例、2022年。
Yonatan Bisk、Rowan Zellers、Jianfeng Gao、Yejin Choi、その他。Piqa：物理的な常識についての推論

Llama 2: Open Foundation and Fine-Tuned Chat Models
stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness,
Accountability, and Transparency , pages 610–623, 2021a.
EmilyMBender,TimnitGebru,AngelinaMcMillan-Major,andShmargaretShmitchell. Onthedangersof
stochasticparrots: Canlanguagemodelsbetoobig? In Proceedingsofthe2021ACMconferenceonfairness,
accountability, and transparency , pages 610–623, 2021b.
37
A Stevie Bergman, Gavin Abercrombie, Shannon L Spruit, Dirk Hovy, Emily Dinan, Y-Lan Boureau, and
Verena Rieser. Guiding the release of safer e2e conversational ai through value sensitive design. In
Proceedings ofthe23rdAnnualMeeting oftheSpecial InterestGroup onDiscourseandDialogue , pages39–52,
2022.
Shaily Bhatt, Sunipa Dev, Partha Talukdar, Shachi Dave, and Vinodkumar Prabhakaran. Re-contextualizing
fairness in nlp: The case of india, 2022.
Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. Piqa: Reasoning about physical commonsense


Llama 2: オープンファンデーションと微調整されたチャットモデル
Yonatan Bisk、Rowan Zellers、Jianfeng Gao、Yejin Choi 他 Piqa: 自然言語における物理的な常識についての推論。AAAI人工知能会議論文集、7432-7439ページ、2020年。
SuLinBlodgett、GilsiniaLopez、AlexandraOlteanu、RobertSim、HannaWallach。ノルウェーのサーモンのステレオタイプ：公平性のベンチマークデータセットにおける落とし穴のインベントリ。ACL第59回年次大会およびIJCNLP第11回国際共同会議論文集（Volume 1: Long Papers）、1004-1015ページ、2021年。
PiotrBojanowski、EdouardGrave、ArmandJoulin、TomásMikolov。サブワード情報を用いた単語ベクトルの拡張。CoRR、abs/1607.04606、2016年。URL http://arxiv.org/abs/1607.04606。

Llama 2: Open Foundation and Fine-Tuned Chat Models
Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. Piqa: Reasoning about physical commonsense
in natural language. In Proceedings of the AAAI conference on artiﬁcial intelligence , pages 7432–7439, 2020.
SuLinBlodgett,GilsiniaLopez,AlexandraOlteanu,RobertSim,andHannaWallach. Stereotypingnorwegian
salmon: Aninventoryofpitfallsinfairnessbenchmarkdatasets. In Proceedingsofthe59thAnnualMeetingof
the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language
Processing (Volume 1: Long Papers) , pages 1004–1015, 2021.
PiotrBojanowski,EdouardGrave,ArmandJoulin,andTomásMikolov. Enrichingwordvectorswithsubword
information. CoRR, abs/1607.04606, 2016. URL http://arxiv.org/abs/1607.04606 .


Llama 2: オープンファウンデーションとファインチューニングされたチャットモデルに関する情報。CoRR、abs/1607.04606、2016年。URL http://arxiv.org/abs/1607.04606。
Tom Brown、Benjamin Mann、Nick Ryder、Melanie Subbiah、Jared D Kaplan、Prafulla Dhariwal、Arvind Neelakantan、PranavShyam、GirishSastry、AmandaAskell、SandhiniAgarwal、ArielHerbert-Voss、Gretchen Krueger、Tom Henighan、Rewon Child、Aditya Ramesh、Daniel Ziegler、Jeﬀrey Wu、Clemens Winter、Chris Hesse、MarkChen、EricSigler、MateuszLitwin、ScottGray、BenjaminChess、JackClark、ChristopherBerner、SamMcCandlish、AlecRadford、IlyaSutskever、およびDarioAmodei。言語モデルはフューショットラーナーです。InH.Larochelle、M.Ranzato、R.Hadsell、M.F.Balcan、およびH.Lin、編集者、AdvancesinNeuralInformation ProcessingSystems、volume33、pages1877–1901。CurranAssociates、Inc.、2020年。URL https://proceedings.

Llama 2: Open Foundation and Fine-Tuned Chat Models
information. CoRR, abs/1607.04606, 2016. URL http://arxiv.org/abs/1607.04606 .
Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan,PranavShyam, GirishSastry,AmandaAskell, SandhiniAgarwal,ArielHerbert-Voss, Gretchen
Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeﬀrey Wu, Clemens Winter, Chris
Hesse,MarkChen,EricSigler,MateuszLitwin,ScottGray,BenjaminChess,JackClark,ChristopherBerner,
SamMcCandlish,AlecRadford,IlyaSutskever,andDarioAmodei. Languagemodelsarefew-shotlearners.
InH.Larochelle,M.Ranzato,R.Hadsell,M.F.Balcan,andH.Lin,editors, AdvancesinNeuralInformation
ProcessingSystems ,volume33,pages1877–1901.CurranAssociates,Inc.,2020. URL https://proceedings.


ラマ2：オープンファンデーションとファインチューンされたチャットモデル
Processing Systems, volume 33, pages 1877–1901. Curran Associates, Inc., 2020. URL https://proceedings.
neurips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf.
Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri
Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael
Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov,
Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such,
Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen
Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain,

Llama 2: Open Foundation and Fine-Tuned Chat Models
ProcessingSystems ,volume33,pages1877–1901.CurranAssociates,Inc.,2020. URL https://proceedings.
neurips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf .
MarkChen,JerryTworek,HeewooJun,QimingYuan,HenriquePondedeOliveiraPinto,JaredKaplan,Harri
Edwards,YuriBurda,NicholasJoseph,GregBrockman,AlexRay,RaulPuri,GretchenKrueger,Michael
Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov,
Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such,
DaveCummings,MatthiasPlappert,FotiosChantzis,ElizabethBarnes,ArielHerbert-Voss,WilliamHebgen
Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain,


Llama 2: オープンファンデーションと微調整されたチャットモデル
Guss、Alex Nichol、Alex Paino、Nikolas Tezak、Jie Tang、Igor Babuschkin、Suchir Balaji、Shantanu Jain、William Saunders、Christopher Hesse、Andrew N. Carr、Jan Leike、Josh Achiam、Vedant Misra、Evan Morikawa、Alec Radford、Matthew Knight、Miles Brundage、Mira Murati、Katie Mayer、Peter Welinder、Bob McGrew、Dario Amodei、Sam McCandlish、Ilya Sutskever、およびWojciech Zaremba。 Evaluating large language models trained on code, 2021.
Wei-Lin Chiang、Zhuohan Li、Zi Lin、Ying Sheng、Zhanghao Wu、Hao Zhang、Lianmin Zheng、Siyuan Zhuang、Yonghao Zhuang、Joseph E. Gonzalez、Ion Stoica、およびEric P. Xing。 Vicuna: An open-source chatbot impressing gpt-4 with 90%* chatgpt quality, March 2023. URL https://lmsys.org/blog/2023-03-30-vicuna/ .

Llama 2: Open Foundation and Fine-Tuned Chat Models
Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain,
William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan
Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder,
BobMcGrew,DarioAmodei,SamMcCandlish,IlyaSutskever,andWojciechZaremba. Evaluatinglarge
language models trained on code, 2021.
Wei-LinChiang,ZhuohanLi,ZiLin,YingSheng,ZhanghaoWu,HaoZhang,LianminZheng,SiyuanZhuang,
YonghaoZhuang,JosephE.Gonzalez,IonStoica,andEricP.Xing. Vicuna: Anopen-sourcechatbotimpressing gpt-4 with 90%* chatgpt quality, March 2023. URL https://lmsys.org/blog/2023-03-30-vicuna/ .


Llama 2: オープンファンデーションと微調整されたチャットモデル
Eunsol Choi、He He、Mohit Iyyer、Mark Yatskar、Wen-tau Yih、Yejin Choi、Percy Liang、およびLuke Zettlemoyer。
Quac: コンテキスト内での質問応答。2018年自然言語処理の経験的手法に関する会議論文集、2174-2184ページ、2018年。
Aakanksha Chowdhery、Sharan Narang、Jacob Devlin、Maarten Bosma、Gaurav Mishra、Adam Roberts、Paul Barham、Hyung Won Chung、Charles Sutton、Sebastian Gehrmann、Parker Schuh、Kensen Shi、Sasha Tsvyashchenko、Joshua Maynez、Abhishek Rao、Parker Barnes、Yi Tay、Noam Shazeer、Vinodkumar Prabhakaran、Emily Reif、Nan Du、Ben Hutchinson、Reiner Pope、James Bradbury、Jacob Austin、Michael Isard、Guy Gur-Ari、Pengcheng Yin、Toju Duke、Anselm Levskaya、Sanjay Ghemawat、Sunipa Dev、Henryk Michalewski、Xavier Garcia、Vedant Misra、Kevin Robinson、Liam Fedus、Denny Zhou、Daphne Ippolito、

Llama 2: Open Foundation and Fine-Tuned Chat Models
Eunsol Choi, He He, Mohit Iyyer, Mark Yatskar, Wen-tau Yih, Yejin Choi, Percy Liang, and Luke Zettlemoyer.
Quac: Question answering in context. In Proceedings of the 2018 Conference on Empirical Methods in Natural
Language Processing , pages 2174–2184, 2018.
Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts,
Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha
Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard,
Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk
Michalewski,XavierGarcia,VedantMisra,KevinRobinson,LiamFedus,DennyZhou,DaphneIppolito,


Llama 2: オープンファンデーションとファインチューンされたチャットモデル
ミカレフスキ、ザビエル・ガルシア、ヴェダント・ミスラ、ケビン・ロビンソン、リアム・フェデュス、デニー・ジョウ、ダフネ・イッポリト、デイビッド・ルアン、ヒョンテク・リム、バレット・ゾフ、アレクサンダー・スピリドノフ、ライアン・セパシ、デイビッド・ドハン、シヴァニ・アグラワル、マーク・オメルニック、アンドリュー・M・ダイ、タヌマラヤン・サンカラナラヤナ・ピライ、マリー・ペラット、アイトール・レウコウィッチ、エリカ・モレイラ、リウォン・チャイルド、オレクサンドル・ポロゾフ、キャサリン・リー、ゾンウェイ・ジョウ、シュエジ・ワン、ブレナン・サエタ、マーク・ディアス、オルハン・フィラット、ミシェル・カタスタ、ジェイソン・ウェイ、キャシー・マイヤー＝ヘルスターン、ダグラス・エック、ジェフ・ディーン、スラヴ・ペトロフ、ノア・フィーデル。Palm: パスウェイを用いた言語モデリングのスケーリング、2022年。
ポール・F・クリスティアーノ、ヤン・ライケ、トム・ブラウン、ミルヤン・マルティッチ、シェーン・レッグ、ダリオ・アモデイ。人間の選好からの深層強化学習。神経情報処理システムの進歩、30、2017年。
ヒョン・ウォン・チョン、レ・ホウ、S. ロングプレ、バレット・ゾフ、イー・テイ、ウィリアム・フェデュス、エリック・リ、シュエジ・ワン、モスタファ

Llama 2: Open Foundation and Fine-Tuned Chat Models
Michalewski,XavierGarcia,VedantMisra,KevinRobinson,LiamFedus,DennyZhou,DaphneIppolito,
DavidLuan, HyeontaekLim,BarretZoph, AlexanderSpiridonov,RyanSepassi, DavidDohan, Shivani
Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor
Lewkowycz,EricaMoreira,RewonChild,OleksandrPolozov,KatherineLee,ZongweiZhou,XuezhiWang,
Brennan Saeta, Mark Diaz, Orhan Firat, MicheleCatasta, Jason Wei, KathyMeier-Hellstern, Douglas Eck,
Jeﬀ Dean, Slav Petrov, and Noah Fiedel. Palm: Scaling language modeling with pathways, 2022.
PaulFChristiano,JanLeike,TomBrown,MiljanMartic,ShaneLegg,andDarioAmodei. Deepreinforcement
learning from human preferences. Advances in neural information processing systems , 30, 2017.
Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa


Llama 2: オープンファンデーションとファインチューンされたチャットモデル
Hyung Won Chung、Le Hou、S. Longpre、Barret Zoph、Yi Tay、William Fedus、Eric Li、Xuezhi Wang、Mostafa Dehghani、Siddhartha Brahma、Albert Webson、Shixiang Shane Gu、Zhuyun Dai、Mirac Suzgun、Xinyun Chen、Aakanksha Chowdhery、Dasha Valter、Sharan Narang、Gaurav Mishra、Adams Wei Yu、Vincent Zhao、Yanping Huang、Andrew M. Dai、Hongkun Yu、Slav Petrov、Ed Huai hsin Chi、Jeff Dean、Jacob Devlin、Adam Roberts、Denny Zhou、Quoc V. Le、および Jason Wei. スケーリングインストラクション-ファインチューンドランゲージモデル。arXiv preprint arXiv:2210.11416、2022年。
Christopher Clark、Kenton Lee、Ming-Wei Chang、Tom Kwiatkowski、Michael Collins、およびKristina Toutanova. Boolq: 自然なYes/No質問の驚くべき難しさを探る。arXiv preprint arXiv:1905.10044、2019年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa
Dehghani,SiddharthaBrahma,AlbertWebson,ShixiangShaneGu,ZhuyunDai,MiracSuzgun,Xinyun
Chen,AakankshaChowdhery,DashaValter,SharanNarang,GauravMishra,AdamsWeiYu,VincentZhao,
Yanping Huang, Andrew M. Dai, Hongkun Yu, Slav Petrov, Ed Huai hsin Chi, Jeﬀ Dean, Jacob Devlin,
38
Adam Roberts,Denny Zhou,QuocV.Le, andJasonWei. Scaling instruction-ﬁnetunedlanguage models.
arXiv preprint arXiv:2210.11416 , 2022.
ChristopherClark,KentonLee,Ming-WeiChang,TomKwiatkowski,MichaelCollins,andKristinaToutanova.
Boolq: Exploring the surprising diﬃculty of natural yes/no questions. arXiv preprint arXiv:1905.10044 ,
2019.


Llama 2: オープンファウンデーションと微調整されたチャットモデル
Boolq: 自然なYes/No質問の驚くべき難しさを探る。arXivプリントarXiv:1905.10044、2019年。
Elizabeth Clark、Tal August、Sofia Serrano、Nikita Haduong、Suchin Gururangan、およびNoah A. Smith. All that's 'human' is not gold: 生成されたテキストの人間らしい評価を評価する。第59回Association for Computational Linguistics Annual Meetingおよび第11回International Joint Conference on Natural Language Processing（Volume 1: Long Papers）の論文集、ページ7282-7296、オンライン、2021年8月。Association for Computational Linguistics。doi: 10.18653/v1/2021.acl-long.565。URL https://aclanthology.org/2021.acl-long.565。
Peter Clark、Isaac Cowhey、Oren Etzioni、Tushar Khot、Ashish Sabharwal、Carissa Schoenick、およびOyvind Tafjord. 問題解決を完了したと思っていますか？arc、theai2reasoningchallengeを試してみてください。arXivプリントarXiv:1803.05457、2018年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
Boolq: Exploring the surprising diﬃculty of natural yes/no questions. arXiv preprint arXiv:1905.10044 ,
2019.
ElizabethClark,TalAugust,SoﬁaSerrano,NikitaHaduong,SuchinGururangan,andNoahA.Smith.Allthat’s
‘human’isnotgold: Evaluatinghumanevaluationofgeneratedtext. In Proceedingsofthe59thAnnualMeeting
of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language
Processing (Volume 1: Long Papers) , pages 7282–7296, Online, August 2021. Association for Computational
Linguistics. doi: 10.18653/v1/2021.acl-long.565. URL https://aclanthology.org/2021.acl-long.565 .
PeterClark,IsaacCowhey,OrenEtzioni,TusharKhot,AshishSabharwal,CarissaSchoenick,andOyvind
Tafjord. Thinkyouhavesolvedquestionanswering? tryarc,theai2reasoningchallenge. arXivpreprint
arXiv:1803.05457 , 2018.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
arXiv:1803.05457、2018年。
Karl Cobbe、Vineet Kosaraju、Mohammad Bavarian、Mark Chen、Heewoo Jun、Lukasz Kaiser、Matthias
Plappert、Jerry Tworek、Jacob Hilton、Reiichiro Nakano、その他。数学のワード問題を解くための検証者のトレーニング。arXiv preprint arXiv:2110.14168、2021年。
Jiawen Deng、Hao Sun、Zhexin Zhang、Jiale Cheng、Minlie Huang。安全で責任ある対話システムに向けた最近の進歩: 調査。arXiv preprint arXiv:2302.09270、2023年。
Yuntian Deng、Anton Bakhtin、Myle Ott、Arthur Szlam、Marc’Aurelio Ranzato。テキスト生成のための残留エネルギーベースのモデル。International Conference on Learning Representations、2019年。
Jwala Dhamala、Tony Sun、Varun Kumar、Satyapriya Krishna、Yada Pruksachatkun、Kai-Wei Chang、Rahul Gupta。BOLD: オープンエンドの言語生成におけるバイアスを測定するためのデータセットとメトリクス。In

Llama 2: Open Foundation and Fine-Tuned Chat Models
arXiv:1803.05457 , 2018.
Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias
Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. Training veriﬁers to solve math word
problems. arXiv preprint arXiv:2110.14168 , 2021.
Jiawen Deng, Hao Sun, Zhexin Zhang, Jiale Cheng, and Minlie Huang. Recent advances towards safe,
responsible, and moral dialogue systems: A survey. arXiv preprint arXiv:2302.09270 , 2023.
YuntianDeng,AntonBakhtin,MyleOtt,ArthurSzlam,andMarc’AurelioRanzato. Residualenergy-based
models for text generation. In International Conference on Learning Representations , 2019.
Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and
RahulGupta. BOLD:Datasetandmetricsformeasuringbiasesinopen-endedlanguagegeneration. In


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
RahulGupta. BOLD:オープンエンド言語生成における偏りを測定するためのデータセットとメトリクス。2021年公正性、説明責任、透明性に関するACM会議論文集、862–872ページ。
Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau, and Verena Rieser. e2e対話型AIにおける安全問題の予測：フレームワークとツール。arXivプリントarXiv:2107.03451、2021年。
Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, and Matt Gardner. 大規模Webテキストコーパスの文書化：Colossal Clean Crawled Corpusに関する事例研究。2021年自然言語処理の経験的手法に関する会議論文集、1286–1305ページ、オンラインおよびドミニカ共和国プンタカーナ、2021年11月。計算言語学協会。doi: 10.18653/v1/2021.emnlp-main.98. URL https://aclanthology.org/2021.emnlp-main.98.

Llama 2: Open Foundation and Fine-Tuned Chat Models
RahulGupta. BOLD:Datasetandmetricsformeasuringbiasesinopen-endedlanguagegeneration. In
Proceedings of the 2021 ACM conference on fairness, accountability, and transparency , pages 862–872, 2021.
Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau, and
Verena Rieser. Anticipating safetyissuesine2e conversationalai: Frameworkandtooling. arXivpreprint
arXiv:2107.03451 , 2021.
Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret
Mitchell,andMattGardner.Documentinglargewebtextcorpora: Acasestudyonthecolossalcleancrawled
corpus. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing , pages
1286–1305, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational
Linguistics. doi: 10.18653/v1/2021.emnlp-main.98. URL https://aclanthology.org/2021.emnlp-main.
98.


Llama 2: オープンファンデーションと微調整されたチャットモデル
98.
Jesse Dodge、Taylor Prewitt、Remi Tachet Des Combes、Erika Odmark、Roy Schwartz、Emma Strubell、Alexandra Sasha Luccioni、Noah A Smith、Nicole DeCario、およびWill Buchanan。クラウドインスタンスにおけるAIの炭素排出量の測定。arXivプレプリントarXiv:2206.05229、2022年。
Nan Du、Yanping Huang、Andrew M Dai、Simon Tong、Dmitry Lepikhin、Yuanzhong Xu、Maxim Krikun、Yanqi Zhou、Adams Wei Yu、Orhan Firat、Barret Zoph、Liam Fedus、Maarten P Bosma、Zongwei Zhou、Tao Wang、Emma Wang、Kellie Webster、Marie Pellat、Kevin Robinson、Kathleen Meier-Hellstern、Toju Duke、Lucas Dixon、Kun Zhang、Quoc Le、Yonghui Wu、Zhifeng Chen、およびClaire Cui。GLaM：エキスパート混合による言語モデルの効率的なスケーリング。Kamalika Chaudhuri、Stefanie Jegelka、Le Song、Csaba

Llama 2: Open Foundation and Fine-Tuned Chat Models
98.
JesseDodge,TaylorPrewitt,RemiTachetDesCombes,ErikaOdmark,RoySchwartz,EmmaStrubell,Alexandra Sasha Luccioni, Noah A Smith, Nicole DeCario, and Will Buchanan. Measuring the carbon intensity of
ai in cloud instances. arXiv preprint arXiv:2206.05229 , 2022.
NanDu,YanpingHuang,AndrewMDai,SimonTong,DmitryLepikhin,YuanzhongXu,MaximKrikun,
Yanqi Zhou, Adams Wei Yu, Orhan Firat, Barret Zoph, Liam Fedus, Maarten P Bosma, Zongwei Zhou, Tao
Wang, EmmaWang,KellieWebster, MariePellat, KevinRobinson,Kathleen Meier-Hellstern,TojuDuke,
LucasDixon,KunZhang,QuocLe,YonghuiWu,ZhifengChen,andClaireCui. GLaM:Eﬃcientscaling
oflanguagemodelswithmixture-of-experts. InKamalikaChaudhuri,StefanieJegelka,LeSong,Csaba


Llama 2: オープンファウンデーションとエキスパートの混合を用いた言語モデルの微調整されたチャットモデル。 Kamalika Chaudhuri、Stefanie Jegelka、Le Song、Csaba Szepesvari、Gang Niu、およびSivan Sabato編、第39回国際機械学習会議論文集、ProceedingsofMachineLearningResearchの第162巻、5547–5569ページ。PMLR、2022年7月17日–23日。URL https://proceedings.mlr.press/v162/du22c.html。
Kawin Ethayarajh、Yejin Choi、およびSwabha Swayamdipta。V-usable情報を用いたデータセットの難易度の理解。 Kamalika Chaudhuri、Stefanie Jegelka、Le Song、Csaba Szepesvari、Gang Niu、およびSivan Sabato編、第39回国際機械学習会議論文集、ProceedingsofMachineLearningResearchの第162巻、5988–6008ページ。PMLR、2022年7月17日–23日。
Prakhar Ganesh、Hongyan Chang、Martin Strobel、およびReza Shokri。機械学習の影響について

Llama 2: Open Foundation and Fine-Tuned Chat Models
oflanguagemodelswithmixture-of-experts. InKamalikaChaudhuri,StefanieJegelka,LeSong,Csaba
Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine
Learning,volume162of ProceedingsofMachineLearningResearch ,pages5547–5569.PMLR,17–23Jul2022.
URL https://proceedings.mlr.press/v162/du22c.html .
KawinEthayarajh,YejinChoi,andSwabhaSwayamdipta. Understandingdatasetdiﬃcultywith V-usable
information. InKamalikaChaudhuri,StefanieJegelka,LeSong,CsabaSzepesvari,GangNiu,andSivan
Sabato,editors, Proceedingsofthe39thInternationalConferenceonMachineLearning ,volume162of Proceedings
of Machine Learning Research , pages 5988–6008. PMLR, 17–23 Jul 2022.
Prakhar Ganesh, Hongyan Chang, Martin Strobel, and Reza Shokri. On the impact of machine learning


Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
Prakhar Ganesh、Hongyan Chang、Martin Strobel、Reza Shokri。機械学習のランダム性がグループの公平性に与える影響について。2023年ACM公平性、説明責任、透明性会議論文集、1789-1800ページ、2023年。
Deep Ganguli、Liane Lovitt、Jackson Kernion、Amanda Askell、Yuntao Bai、Saurav Kadavath、Ben Mann、Ethan Perez、Nicholas Schiefer、Kamal Ndousse、その他。有害を減らすための言語モデルのレッドチーム活動：手法、スケーリング動作、および得られた教訓。arXivプレプリントarXiv:2209.07858、2022年。
Deep Ganguli、Amanda Askell、Nicholas Schiefer、Thomas Liao、Kamil ˙e Lukoši ¯ut˙e、Anna Chen、Anna Goldie、Azalia Mirhoseini、Catherine Olsson、Danny Hernandez、その他。大規模言語モデルにおける道徳的自己修正の能力。arXivプレプリントarXiv:2302.07459、2023年。
Leo Gao、Jonathan Tow、Stella Biderman、Sid Black、Anthony DiPoﬁ、Charles Foster、Laurence Golding、Jeﬀrey

Llama 2: Open Foundation and Fine-Tuned Chat Models
Prakhar Ganesh, Hongyan Chang, Martin Strobel, and Reza Shokri. On the impact of machine learning
randomnessongroupfairness. In Proceedingsofthe2023ACMConferenceonFairness,Accountability,and
Transparency , pages 1789–1800, 2023.
Deep Ganguli, Liane Lovitt, Jackson Kernion, Amanda Askell, Yuntao Bai, Saurav Kadavath, Ben Mann,
Ethan Perez, Nicholas Schiefer, Kamal Ndousse, et al. Red teaming language models to reduce harms:
Methods, scaling behaviors, and lessons learned. arXiv preprint arXiv:2209.07858 , 2022.
39
DeepGanguli,AmandaAskell,NicholasSchiefer,ThomasLiao,Kamil ˙eLukoši ¯ut˙e,AnnaChen,AnnaGoldie,
AzaliaMirhoseini,CatherineOlsson,DannyHernandez,etal. Thecapacityformoralself-correctionin
large language models. arXiv preprint arXiv:2302.07459 , 2023.
LeoGao,JonathanTow,StellaBiderman,SidBlack,AnthonyDiPoﬁ,CharlesFoster,LaurenceGolding,Jeﬀrey


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
Hsu、Kyle McDonell、Niklas Muennighoﬀ、Jason Phang、Laria Reynolds、Eric Tang、Anish Thite、Ben Wang、Kevin Wang、およびAndy Zou。few-shot言語モデル評価のためのフレームワーク、2021年9月。URL https://doi.org/10.5281/zenodo.5371628 。
Sebastian Gehrmann、Elizabeth Clark、およびThibault Sellam。ひびの入ったファウンデーションの修復：生成テキストの評価実践の障害の調査。Journal of Artificial Intelligence Research、77：103–166、2023年。
Fabrizio Gilardi、Meysam Alizadeh、およびMaël Kubli。Chatgptoutperformscrowd-workersfortext-annotation tasks.arXiv preprint arXiv:2303.15056、2023年。
Arnav Gudibande、Eric Wallace、Charlie Snell、Xinyang Geng、Hao Liu、Pieter Abbeel、Sergey Levine、およびDawn Song。プロプライエタリllmsの模倣の誤った約束。arXiv preprint arXiv:2305.15717、2023年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
Hsu, Kyle McDonell, Niklas Muennighoﬀ, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang,
Kevin Wang, and Andy Zou. A framework for few-shot language model evaluation, September 2021. URL
https://doi.org/10.5281/zenodo.5371628 .
Sebastian Gehrmann, Elizabeth Clark, and Thibault Sellam. Repairing the cracked foundation: A survey
ofobstaclesin evaluationpracticesfor generatedtext. JournalofArtiﬁcial IntelligenceResearch ,77:103–166,
2023.
FabrizioGilardi,MeysamAlizadeh,andMaëlKubli. Chatgptoutperformscrowd-workersfortext-annotation
tasks.arXiv preprint arXiv:2303.15056 , 2023.
ArnavGudibande,EricWallace,CharlieSnell,XinyangGeng,HaoLiu,PieterAbbeel,SergeyLevine,and
Dawn Song. The false promise of imitating proprietary llms. arXiv preprint arXiv:2305.15717 , 2023.


Llama 2: オープンファンデーションと微調整されたチャットモデル
Dawn Song. 専用LLMの模倣の誤った約束. arXiv preprint arXiv:2305.15717 , 2023.
UditGupta,MariamElgamal,GageHills,Gu-YeonWei,Hsien-HsinSLee,DavidBrooks,andCarole-JeanWu.
Act: 設計持続可能なコンピュータシステムと建築的炭素モデリングツール. In Proceedings of
the 49th Annual International Symposium on Computer Architecture , pages 784–799, 2022a.
UditGupta,YoungGuenKim,SylviaLee,JordanTse,Hsien-HsinSeanLee,Gu-YeonWei,DavidBrooks,and
Carole-Jean Wu. 炭素を追い求める: コンピューティングの難捕獲な環境的足跡. IEEE Micro , 2022b.
Kilem L. Gwet. 相互評価者信頼性ハンドブック: 評価者間の合意の程度を測定するための決定的なガイド. Advanced Analytics, LLC, 2014.
Kilem Li Gwet. 高い合意の存在下での相互評価者信頼性とその分散の計算. British Journal of Mathematical and Statistical Psychology , 61(1):29–48, 2008.

Llama 2: Open Foundation and Fine-Tuned Chat Models
Dawn Song. The false promise of imitating proprietary llms. arXiv preprint arXiv:2305.15717 , 2023.
UditGupta,MariamElgamal,GageHills,Gu-YeonWei,Hsien-HsinSLee,DavidBrooks,andCarole-JeanWu.
Act: designing sustainable computer systems with an architectural carbon modeling tool. In Proceedings of
the 49th Annual International Symposium on Computer Architecture , pages 784–799, 2022a.
UditGupta,YoungGuenKim,SylviaLee,JordanTse,Hsien-HsinSeanLee,Gu-YeonWei,DavidBrooks,and
Carole-Jean Wu. Chasing carbon: The elusive environmental footprint of computing. IEEE Micro , 2022b.
Kilem L. Gwet. Handbook of inter-rater reliability: The deﬁnitive guide to measuring the extent of agreement among
raters. Advanced Analytics, LLC, 2014.
Kilem Li Gwet. Computing inter-rater reliability and its variance in the presence of high agreement. British
Journal of Mathematical and Statistical Psychology , 61(1):29–48, 2008.


Llama 2: オープンファンデーションとファインチューンされたチャットモデル
Journal of Mathematical and Statistical Psychology, 61(1):29–48, 2008.
Thomas Hartvigsen, Saadia Gabriel, Hamid Palangi, Maarten Sap, Dipankar Ray, and Ece Kamar. Toxigen: Adversarial and Implicit Hate Speech Detectionのための大規模な機械生成データセット. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 3309–3326, 2022.
Alex Havrilla. synthetic-instruct-gptj-pairwise. https://huggingface.co./datasets/Dahoas/synthetic-instruct-gptj-pairwise.
Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. arXiv preprint arXiv:2006.03654, 2020.
Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Xiaodong Song, and Jacob Steinhardt. Measuring massive multitask language understanding. arXiv preprint arXiv:2009.03300, 2020.

Llama 2: Open Foundation and Fine-Tuned Chat Models
Journal of Mathematical and Statistical Psychology , 61(1):29–48, 2008.
ThomasHartvigsen,SaadiaGabriel,HamidPalangi,MaartenSap,DipankarRay,andEceKamar. Toxigen: A
large-scalemachine-generateddatasetforadversarialandimplicithatespeechdetection. In Proceedings
of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) , pages
3309–3326, 2022.
Alex Havrilla. synthetic-instruct-gptj-pairwise. https://huggingface.co./datasets/Dahoas/
synthetic-instruct-gptj-pairwise .
Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with
disentangled attention. arXiv preprint arXiv:2006.03654 , 2020.
Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Xiaodong Song, and Jacob
Steinhardt. Measuring massive multitask language understanding. arXiv preprint arXiv:2009.03300 , 2020.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
Steinhardt. 膨大なマルチタスク言語理解の測定。arXivプレプリントarXiv:2009.03300、2020年。
DanHendrycks、CollinBurns、SauravKadavath、AkulArora、StevenBasart、EricTang、DawnSong、およびJacob
Steinhardt. 数学的問題解決の測定：mathデータセットを用いて。arXivプレプリントarXiv:2103.03874、2021年。
JordanHoﬀmann、SebastianBorgeaud、ArthurMensch、ElenaBuchatskaya、TrevorCai、ElizaRutherford、
Diego de Las Casas、Lisa Anne Hendricks、Johannes Welbl、Aidan Clark、その他。コンピュート最適な大規模言語モデルのトレーニング。arXivプレプリントarXiv:2203.15556、2022年。
AriHoltzman、JanBuys、LiDu、MaxwellForbes、およびYejinChoi. 神経テキスト退化の興味深いケース。International Conference on Learning Representations、2020年。URL https://openreview.net/forum?id=rygGQyrFvH。
Or Honovich、Thomas Scialom、Omer Levy、およびTimo Schick. 不自然な指示：言語のチューニング

Llama 2: Open Foundation and Fine-Tuned Chat Models
Steinhardt. Measuring massive multitask language understanding. arXiv preprint arXiv:2009.03300 , 2020.
DanHendrycks,CollinBurns,SauravKadavath,AkulArora,StevenBasart,EricTang,DawnSong,andJacob
Steinhardt.Measuringmathematicalproblemsolvingwiththemathdataset. arXivpreprintarXiv:2103.03874 ,
2021.
JordanHoﬀmann,SebastianBorgeaud,ArthurMensch,ElenaBuchatskaya, TrevorCai, ElizaRutherford,
Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal
large language models. arXiv preprint arXiv:2203.15556 , 2022.
AriHoltzman,JanBuys,LiDu,MaxwellForbes,andYejinChoi. Thecuriouscaseofneuraltextdegeneration.
InInternational Conference on Learning Representations , 2020. URL https://openreview.net/forum?id=
rygGQyrFvH .
Or Honovich, Thomas Scialom, Omer Levy, and Timo Schick. Unnatural instructions: Tuning language


Llama 2: オープンファンデーションと微調整されたチャットモデル
rygGQyrFvH。
オア・ホノビッチ、トーマス・シャロム、オマー・レヴィ、ティモ・シック。非自然な指示：（ほぼ）人間の労働なしで言語モデルを調整する。arXivプリントarXiv:2212.09689、2022年。
サガール・ホセイニ、ハミド・パランジ、アフメド・ハッサン・アワダラ。事前学習された言語モデルにおける表現的な害を測定するためのメトリクスの実証的研究。arXivプリントarXiv:2301.09211、2023年。
ファン・ファン、ファウン・クワック、アン・ジスン。ChatGPTは人間の注釈者よりも優れていますか？ChatGPTの潜在能力と制限。arXivプリントarXiv:2302.07736、2023年。
クレイトン・ハットー、エリック・ギルバート。Vader：ソーシャルメディアテキストの感情分析のための簡潔なルールベースモデル。国際AAAIウェブおよびソーシャルメディア会議論文集、第8巻、216-225ページ、2014年。
マンダー・ジョシ、ウンソル・チョイ、ダニエル・S・ウェルド、ルーク・ゼトルモイヤー。Triviaqa：読解のための大規模な遠隔監視チャレンジデータセット。arXivプリントarXiv:1705.03551、2017年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
rygGQyrFvH .
Or Honovich, Thomas Scialom, Omer Levy, and Timo Schick. Unnatural instructions: Tuning language
models with (almost) no human labor. arXiv preprint arXiv:2212.09689 , 2022.
Saghar Hosseini, Hamid Palangi, and Ahmed Hassan Awadallah. An empirical study of metrics to measure
representational harms in pre-trained language models. arXiv preprint arXiv:2301.09211 , 2023.
FanHuang,HaewoonKwak,andJisunAn. Ischatgptbetterthanhumanannotators? potentialandlimitations
of chatgpt in explaining implicit hate speech. arXiv preprint arXiv:2302.07736 , 2023.
ClaytonHuttoandEricGilbert. Vader: Aparsimoniousrule-basedmodelforsentimentanalysisofsocial
media text. In Proceedings of the international AAAI conference on web and social media , volume 8, pages
216–225, 2014.
MandarJoshi,EunsolChoi,DanielSWeld,andLukeZettlemoyer. Triviaqa: Alargescaledistantlysupervised
challenge dataset for reading comprehension. arXiv preprint arXiv:1705.03551 , 2017.


Llama 2: オープンファンデーションとファインチューンされたチャットモデルの読解のためのチャレンジデータセット。arXivプリントarXiv:1705.03551、2017年。
JaredKaplan、SamMcCandlish、TomHenighan、TomBBrown、BenjaminChess、RewonChild、ScottGray、Alec Radford、Jeﬀrey Wu、およびDario Amodei。ニューラル言語モデルのスケーリング則。arXivプリントarXiv:2001.08361、2020年。
JamesKirkpatrick、RazvanPascanu、NeilRabinowitz、JoelVeness、GuillaumeDesjardins、AndreiARusu、Kieran Milan、John Quan、Tiago Ramalho、Agnieszka Grabska-Barwinska、他。ニューラルネットワークにおける壊滅的な忘却の克服。国立科学アカデミー紀要、114（13）：3521–3526、2017年。
Andreas Köpf、Yannic Kilcher、Dimitri von Rütte、Sotiris Anagnostidis、Zhi-Rui Tam、Keith Stevens、AbdullahBarhoum、NguyenMinhDuc、OliverStanley、RichárdNagyﬁ、他。Openassistantconversations–

Llama 2: Open Foundation and Fine-Tuned Chat Models
challenge dataset for reading comprehension. arXiv preprint arXiv:1705.03551 , 2017.
40
JaredKaplan,SamMcCandlish,TomHenighan,TomBBrown,BenjaminChess,RewonChild,ScottGray,
Alec Radford, Jeﬀrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint
arXiv:2001.08361 , 2020.
JamesKirkpatrick,RazvanPascanu,NeilRabinowitz,JoelVeness,GuillaumeDesjardins,AndreiARusu,
Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, et al. Overcoming catastrophic
forgetting in neural networks. Proceedings of the national academy of sciences , 114(13):3521–3526, 2017.
Andreas Köpf, Yannic Kilcher, Dimitri von Rütte, Sotiris Anagnostidis, Zhi-Rui Tam, Keith Stevens, AbdullahBarhoum,NguyenMinhDuc,OliverStanley,RichárdNagyﬁ,etal. Openassistantconversations–


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
大規模言語モデルのアライメントの民主化。arXivプリントarXiv:2304.07327、2023年。
Tomasz Korbak、Kejian Shi、Angelica Chen、Rasika Bhalerao、Christopher L Buckley、Jason Phang、Samuel R
Bowman、およびEthan Perez。人間の選好で言語モデルを事前学習する。arXivプリント
arXiv:2302.08582、2023年。
TakuKudoandJohnRichardson。Sentencepiece：シンプルで言語に依存しないサブワードトークナイザー
およびニューラルテキスト処理のデトークナイザー、2018年。
SachinKumar、VidhishaBalachandran、LucilleNjoo、AntoniosAnastasopoulos、およびYuliaTsvetkov。言語
生成モデルは害を引き起こす可能性がある：では、何ができるのか？実践的な調査。arXivプリント
arXiv:2210.07700、2022年。
Tom Kwiatkowski、Jennimaria Palomaki、Olivia Redﬁeld、Michael Collins、Ankur Parikh、Chris Alberti、
Danielle Epstein、Illia Polosukhin、Jacob Devlin、Kenton Lee、その他。自然な質問：質問応答研究のためのベンチマーク。Association for Computational Linguistics Transactions、7：453–466、2019年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
democratizing large language model alignment. arXiv preprint arXiv:2304.07327 , 2023.
Tomasz Korbak, Kejian Shi, Angelica Chen, Rasika Bhalerao, Christopher L Buckley, Jason Phang, Samuel R
Bowman, and Ethan Perez. Pretraining language models with human preferences. arXiv preprint
arXiv:2302.08582 , 2023.
TakuKudoandJohnRichardson. Sentencepiece: Asimpleandlanguageindependentsubwordtokenizer
and detokenizer for neural text processing, 2018.
SachinKumar,VidhishaBalachandran,LucilleNjoo,AntoniosAnastasopoulos,andYuliaTsvetkov. Language
generation models can cause harm: So what can we do about it? an actionable survey. arXiv preprint
arXiv:2210.07700 , 2022.
Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redﬁeld, Michael Collins, Ankur Parikh, Chris Alberti,
Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. Natural questions: a benchmark for
question answering research. Transactions of the Association for Computational Linguistics , 7:453–466, 2019.


Llama 2: オープンファンデーションと微調整されたチャットモデルに関する質問応答研究。Transactions of the Association for Computational Linguistics, 7:453–466, 2019.
Nathan Lambert、Lewis Tunstall、Nazneen Rajani、Tristan Thrush. Huggingface h4 stack exchange preference dataset. 2023. URL https://huggingface.co./datasets/HuggingFaceH4/stack-exchange-preferences .
Katherine Lee、Daphne Ippolito、Andrew Nystrom、Chiyuan Zhang、Douglas Eck、Chris Callison-Burch、Nicholas Carlini. Deduplicating training data makes language models better. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2022.
Kevin Lee、Shubho Sengupta. Introducing the ai research supercluster— meta’s cutting-edge ai supercomputer for ai research, 2022. URL https://ai.facebook.com/blog/ai-rsc/ .
Stephanie Lin、Jacob Hilton、Owain Evans. Truthfulqa: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021.

Llama 2: Open Foundation and Fine-Tuned Chat Models
question answering research. Transactions of the Association for Computational Linguistics , 7:453–466, 2019.
Nathan Lambert, Lewis Tunstall, Nazneen Rajani, and Tristan Thrush. Huggingface h4 stack
exchange preference dataset. 2023. URL https://huggingface.co./datasets/HuggingFaceH4/
stack-exchange-preferences .
Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, and
Nicholas Carlini. Deduplicating training data makes language models better. In Proceedings of the 60th
AnnualMeetingoftheAssociationforComputationalLinguistics .AssociationforComputationalLinguistics,
2022.
Kevin Leeand Shubho Sengupta. Introducing theai researchsupercluster— meta’s cutting-edge aisupercomputer for ai research, 2022. URL https://ai.facebook.com/blog/ai-rsc/ .
StephanieLin,JacobHilton,andOwainEvans. Truthfulqa: Measuringhowmodelsmimichumanfalsehoods.
arXiv preprint arXiv:2109.07958 , 2021.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
arXivプリント arXiv:2109.07958 , 2021.
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint
arXiv:1907.11692 , 2019.
Shayne Longpre, Le Hou, Tu Vu, Albert Webson, Hyung Won Chung, Yi Tay, Denny Zhou, Quoc V Le, Barret
Zoph, Jason Wei, et al. The flan collection: デザインデータとメソッドフォーエフェクティブインストラクションチューニング.
arXivプリント arXiv:2301.13688 , 2023.
Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101 ,
2017.
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreﬀe, Uri Alon, Nouha

Llama 2: Open Foundation and Fine-Tuned Chat Models
arXiv preprint arXiv:2109.07958 , 2021.
Yinhan Liu,Myle Ott, NamanGoyal, Jingfei Du,Mandar Joshi, DanqiChen, Omer Levy,Mike Lewis, Luke
Zettlemoyer,andVeselinStoyanov. Roberta: Arobustlyoptimizedbertpretrainingapproach. arXivpreprint
arXiv:1907.11692 , 2019.
ShayneLongpre,LeHou,TuVu,AlbertWebson,HyungWonChung,YiTay,DennyZhou,QuocVLe,Barret
Zoph,JasonWei,etal. Theﬂancollection: Designingdataandmethodsforeﬀectiveinstructiontuning.
arXiv preprint arXiv:2301.13688 , 2023.
Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101 ,
2017.
AmanMadaan,NiketTandon,PrakharGupta, SkylerHallinan, LuyuGao,SarahWiegreﬀe,UriAlon,Nouha


Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
Dziri, Shrimai Prabhumoye, Yiming Yang 他. Self-reﬁne: 自己フィードバックによる反復的なリファインメント. arXiv
preprint arXiv:2303.17651 , 2023.
Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu,
BaptisteRozière,TimoSchick,JaneDwivedi-Yu,AsliCelikyilmaz 他. Augmentedlanguagemodels: 調査. arXiv preprint arXiv:2302.07842 , 2023.
Todor Mihaylov, Peter Clark, Tushar Khot, and Ashish Sabharwal. 鎧は電気を伝えることができるか？ オープンブック質問応答のための新しいデータセット. arXiv preprint arXiv:1809.02789 , 2018.
MargaretMitchell,SimoneWu,AndrewZaldivar,ParkerBarnes,LucyVasserman,BenHutchinson,Elena

Llama 2: Open Foundation and Fine-Tuned Chat Models
Dziri, Shrimai Prabhumoye, Yiming Yang, et al. Self-reﬁne: Iterative reﬁnement with self-feedback. arXiv
preprint arXiv:2303.17651 , 2023.
Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu,
BaptisteRozière,TimoSchick,JaneDwivedi-Yu,AsliCelikyilmaz,etal. Augmentedlanguagemodels: a
survey.arXiv preprint arXiv:2302.07842 , 2023.
Todor Mihaylov, Peter Clark, Tushar Khot, and Ashish Sabharwal. Can a suit of armor conduct electricity? a
new dataset for open book question answering. arXiv preprint arXiv:1809.02789 , 2018.
MargaretMitchell,SimoneWu,AndrewZaldivar,ParkerBarnes,LucyVasserman,BenHutchinson,Elena


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
MargaretMitchell,SimoneWu,AndrewZaldivar,ParkerBarnes,LucyVasserman,BenHutchinson,Elena
Spitzer,InioluwaDeborahRaji,andTimnitGebru. Modelcardsformodelreporting. CoRR,abs/1810.03993,
2018. URL http://arxiv.org/abs/1810.03993 .
MosaicML NLP Team et al. mpt-7bの導入：オープンソース、商業利用可能なllmsの新基準、2023年。
Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeﬀ Wu, Lonbrown Ouyanbrown, Christina Kim, Christopher
Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen
Krueger, Kevin Button, Matthew Knight, Benjamin Chess, and John Schulman. Webgpt: ブラウザ支援型の質問応答と人間のフィードバック。arXiv, 2021年。
Cuong V. Nguyen, Alessandro Achille, Michael Lam, Tal Hassner, Vijay Mahadevan, and Stefano Soatto.
連続学習における壊滅的忘却の理解に向けて。arXiv preprint arXiv:1908.01091 , 2019年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
MargaretMitchell,SimoneWu,AndrewZaldivar,ParkerBarnes,LucyVasserman,BenHutchinson,Elena
Spitzer,InioluwaDeborahRaji,andTimnitGebru. Modelcardsformodelreporting. CoRR,abs/1810.03993,
2018. URL http://arxiv.org/abs/1810.03993 .
MosaicML NLP Team et al. Introducing mpt-7b: A new standard for open-source, commercially usable llms,
2023.
41
Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeﬀ Wu, Lonbrown Ouyanbrown, Christina Kim, Christopher
Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen
Krueger, Kevin Button, Matthew Knight, Benjamin Chess, and John Schulman. Webgpt: Browser-assisted
question-answering with human feedback. In arXiv, 2021.
Cuong V. Nguyen, Alessandro Achille, Michael Lam, Tal Hassner, Vijay Mahadevan, and Stefano Soatto.
Toward understanding catastrophic forgetting in continual learning. arXiv preprint arXiv:1908.01091 , 2019.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
連続学習における壊滅的な忘却の理解に向けて。arXivプリントarXiv:1908.01091、2019年。
OpenAI。GPT-4技術レポート。CoRR、abs/2303.08774、2023年。doi: 10.48550/arXiv.2303.08774。URL
https://doi.org/10.48550/arXiv.2303.08774。
LongOuyang,JeﬀreyWu,XuJiang,DiogoAlmeida,CarrollWainwright,PamelaMishkin,ChongZhang,
Sandhini Agarwal, Katarina Slama, Alex Ray、その他。人間のフィードバックを用いた言語モデルの指示に従うトレーニング。Neural Information Processing Systemsの進歩、35:27730–27744、2022年。
DavidPatterson,JosephGonzalez,QuocLe,ChenLiang,Lluis-MiquelMunguia,DanielRothchild,David
So, Maud Texier、Jeﬀ Dean。炭素排出量と大規模ニューラルネットワークトレーニング。arXivプリントarXiv:2104.10350、2021年。
Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza

Llama 2: Open Foundation and Fine-Tuned Chat Models
Toward understanding catastrophic forgetting in continual learning. arXiv preprint arXiv:1908.01091 , 2019.
OpenAI. GPT-4 technical report. CoRR, abs/2303.08774, 2023. doi: 10.48550/arXiv.2303.08774. URL
https://doi.org/10.48550/arXiv.2303.08774 .
LongOuyang,JeﬀreyWu,XuJiang,DiogoAlmeida,CarrollWainwright,PamelaMishkin,ChongZhang,
Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with
human feedback. Advances in Neural Information Processing Systems , 35:27730–27744, 2022.
DavidPatterson,JosephGonzalez,QuocLe,ChenLiang,Lluis-MiquelMunguia,DanielRothchild,David
So, Maud Texier, and Jeﬀ Dean. Carbon emissions and large neural network training. arXiv preprint
arXiv:2104.10350 , 2021.
Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza


Llama 2: オープンファンデーションと微調整されたチャットモデル
Guilherme Penedo、Quentin Malartic、Daniel Hesslow、Ruxandra Cojocaru、Alessandro Cappelli、Hamza
Alobeidli、BaptistePannier、EbtesamAlmazrouei、およびJulienLaunay。ファルコンのための洗練されたウェブデータセット：ウェブデータのみでキュレーションされたコーパスを上回る、2023年。
Reiner Pope、Sholto Douglas、Aakanksha Chowdhery、Jacob Devlin、James Bradbury、Anselm Levskaya、Jonathan Heek、Kefan Xiao、Shivani Agrawal、およびJeﬀ Dean。効率的なスケーリングトランスフォーマー推論、2022年。
Jack W. Rae、Sebastian Borgeaud、Trevor Cai、Katie Millican、Jordan Hoﬀmann、Francis Song、John Aslanides、Sarah Henderson、Roman Ring、Susannah Young、Eliza Rutherford、Tom Hennigan、Jacob Menick、Albin Cassirer、Richard Powell、George van den Driessche、Lisa Anne Hendricks、Maribeth Rauh、Po-Sen

Llama 2: Open Foundation and Fine-Tuned Chat Models
Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza
Alobeidli,BaptistePannier,EbtesamAlmazrouei,andJulienLaunay. Thereﬁnedwebdatasetforfalcon
llm: Outperforming curated corpora with web data, and web data only, 2023.
Reiner Pope, Sholto Douglas, Aakanksha Chowdhery, Jacob Devlin, James Bradbury, Anselm Levskaya,
Jonathan Heek, Kefan Xiao, Shivani Agrawal, and Jeﬀ Dean. Eﬃciently scaling transformer inference, 2022.
Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoﬀmann, Francis Song, John Aslanides,
Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen


Llama 2: オープンファンデーションと微調整されたチャットモデル
黄、アメリア・グラーゼ、ヨハネス・ウェルブル、スマンス・ダサスリ、サフロン・黄、ジョナサン・ウエサト、ジョン・メロー、イリーナ・ヒギンズ、アントニア・クレスウェル、ナット・マカリース、エイミー・ウー、エリック・エルセン、シッダント・ジャヤクマール、エレナ・ブチャツカヤ、デイビッド・バーデン、エスメ・サザーランド、カレン・シモニアン、ミケラ・パガニーニ、ローラン・シフレ、レナ・マーテンス、リーン・ロレーヌ・リー、アディグナ・クンコロ、アイダ・ネマツザデ、エレナ・グリボフスカヤ、ドメニック・ドナート、アンジェリキ・ラザリドゥ、アーサー・メンシュ、ジャン＝バティスト・レスピアウ、マリア・ツィンプケリ、ニコライ・グリゴレフ、ダグ・フリッツ、ティボー・ソティオ、マンタス・パジャルスカス、トビー・ポーレン、ジータオ・ゴン、ダニエル・トヤマ、シプリアン・ド・マソン・ドートゥーム、ユージア・リー、タイファン・テルジ、ウラジミール・ミクリク、イゴール・バブシュキン、エイダン・クラーク、ディエゴ・デ・ラス・カサス、オレリア・ギー、クリス・ジョーンズ、ジェームズ・ブラッドベリー、マシュー・ジョンソン、ブレイク・ヘクトマン、ローラ・ワイディンガー、イアソン

Llama 2: Open Foundation and Fine-Tuned Chat Models
Huang,Amelia Glaese,JohannesWelbl, SumanthDathathri,Saﬀron Huang,JonathanUesato,John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena
Buchatskaya,DavidBudden,EsmeSutherland,KarenSimonyan,MichelaPaganini,LaurentSifre,Lena
Martens, Xiang Lorraine Li, Adhiguna Kuncoro, Aida Nematzadeh, Elena Gribovskaya, Domenic Donato,
Angeliki Lazaridou, Arthur Mensch, Jean-Baptiste Lespiau, Maria Tsimpoukelli, Nikolai Grigorev, Doug
Fritz,ThibaultSottiaux,MantasPajarskas,TobyPohlen,ZhitaoGong,DanielToyama,CypriendeMassond’Autume,YujiaLi,TayfunTerzi,VladimirMikulik,IgorBabuschkin,AidanClark,DiegodeLasCasas,
AureliaGuy,ChrisJones,JamesBradbury,MatthewJohnson,BlakeHechtman,LauraWeidinger,Iason


ラマ2：オープンファンデーションとファインチューンされたチャットモデル
AureliaGuy、ChrisJones、JamesBradbury、MatthewJohnson、BlakeHechtman、LauraWeidinger、Iason
Gabriel、WilliamIsaac、EdLockhart、SimonOsindero、LauraRimell、ChrisDyer、OriolVinyals、Kareem
Ayoub、Jeﬀ Stanway、Lorrayne Bennett、Demis Hassabis、Koray Kavukcuoglu、およびGeoﬀrey Irving。言語モデルのスケーリング：トレーニングゴファーからの手法、分析、および洞察、2022年。
Pranav Rajpurkar、Robin Jia、およびPercy Liang。知っていることと知らないこと：SQuADの回答不能な質問、arXivプレプリントarXiv：1806.03822、2018年。
Vinay Venkatesh Ramasesh、Aitor Lewkowycz、およびEthan Dyer。ニューラルネットワークにおけるスケールの影響：国際学習表現会議、2021年における壊滅的な忘却への影響。
StephenRoller、Y-LanBoureau、JasonWeston、AntoineBordes、EmilyDinan、AngelaFan、DavidGunning、Da Ju、Margaret Li、Spencer Poﬀ、その他。オープンドメインの対話エージェント：現在の進捗、オープン

Llama 2: Open Foundation and Fine-Tuned Chat Models
AureliaGuy,ChrisJones,JamesBradbury,MatthewJohnson,BlakeHechtman,LauraWeidinger,Iason
Gabriel,WilliamIsaac,EdLockhart,SimonOsindero,LauraRimell,ChrisDyer,OriolVinyals,Kareem
Ayoub, Jeﬀ Stanway, Lorrayne Bennett, Demis Hassabis, Koray Kavukcuoglu, and Geoﬀrey Irving. Scaling
language models: Methods, analysis & insights from training gopher, 2022.
Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don’t know: Unanswerable questions for
squad.arXiv preprint arXiv:1806.03822 , 2018.
Vinay Venkatesh Ramasesh, Aitor Lewkowycz, and Ethan Dyer. Eﬀect of scale on catastrophic forgetting in
neural networks. In International Conference on Learning Representations , 2021.
StephenRoller,Y-LanBoureau,JasonWeston,AntoineBordes,EmilyDinan,AngelaFan,DavidGunning,
Da Ju, Margaret Li, Spencer Poﬀ, et al. Open-domain conversational agents: Current progress, open


Llama 2: オープンファンデーションとファインチューンされたチャットモデル
Da Ju、Margaret Li、Spencer Poﬀ、他。オープンドメインの会話エージェント：現在の進捗状況、オープンな問題、および将来の方向性。arXivプリントarXiv:2006.12442、2020年。
Keisuke Sakaguchi、Ronan Le Bras、Chandra Bhagavatula、およびYejin Choi。Winogrande：スケールでの敵対的なウィノグランドスキーマチャレンジ。ACM通信、64（9）：99–106、2021年。
Maarten Sap、Hannah Rashkin、Derek Chen、Ronan LeBras、およびYejin Choi。Socialiqa：社会的相互作用に関する常識的な推論。arXivプリントarXiv:1904.09728、2019年。
TevenLeScao、AngelaFan、ChristopherAkiki、ElliePavlick、SuzanaIlić、DanielHesslow、RomanCastagné、Alexandra Sasha Luccioni、François Yvon、Matthias Gallé、他。Bloom：176億パラメータのオープンアクセス多言語言語モデル。arXivプリントarXiv:2211.05100、2022年。
TimoSchick、JaneDwivedi-Yu、RobertoDessì、RobertaRaileanu、MariaLomeli、LukeZettlemoyer、Nicola

Llama 2: Open Foundation and Fine-Tuned Chat Models
Da Ju, Margaret Li, Spencer Poﬀ, et al. Open-domain conversational agents: Current progress, open
problems, and future directions. arXiv preprint arXiv:2006.12442 , 2020.
Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Winogrande: An adversarial
winograd schema challenge at scale. Communications of the ACM , 64(9):99–106, 2021.
Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras, and Yejin Choi. Socialiqa: Commonsense
reasoning about social interactions. arXiv preprint arXiv:1904.09728 , 2019.
TevenLeScao,AngelaFan,ChristopherAkiki,ElliePavlick,SuzanaIlić,DanielHesslow,RomanCastagné,
Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. Bloom: A 176b-parameter open-access
multilingual language model. arXiv preprint arXiv:2211.05100 , 2022.
TimoSchick,JaneDwivedi-Yu,RobertoDessì,RobertaRaileanu,MariaLomeli,LukeZettlemoyer,Nicola


Llama 2: オープンファンデーションと微調整されたチャットモデル
TimoSchick、JaneDwivedi-Yu、RobertoDessì、RobertaRaileanu、MariaLomeli、LukeZettlemoyer、Nicola
Cancedda、およびThomasScialom。 Toolformer: Languagemodelscanteachthemselvestousetools. arXiv
preprint arXiv:2302.04761、2023年。
JohnSchulman、FilipWolski、PrafullaDhariwal、AlecRadford、およびOlegKlimov。Proximalpolicyoptimization
algorithms. arXiv preprint arXiv:1707.06347、2017年。
42
ThomasScialom、Paul-AlexisDray、SylvainLamprier、BenjaminPiwowarski、およびJacopoStaiano。Discriminative adversarial search for abstractive summarization. Hal Daumé III およびAarti Singh、編集者、
Proceedings of the 37th International Conference on Machine Learning、volume 119 of Proceedings of Machine
LearningResearch、pages8555–8564.PMLR、13–18Jul2020a。URL https://proceedings.mlr.press/v119/
scialom20a.html。

Llama 2: Open Foundation and Fine-Tuned Chat Models
TimoSchick,JaneDwivedi-Yu,RobertoDessì,RobertaRaileanu,MariaLomeli,LukeZettlemoyer,Nicola
Cancedda,andThomasScialom. Toolformer: Languagemodelscanteachthemselvestousetools. arXiv
preprint arXiv:2302.04761 , 2023.
JohnSchulman,FilipWolski,PrafullaDhariwal,AlecRadford,andOlegKlimov.Proximalpolicyoptimization
algorithms. arXiv preprint arXiv:1707.06347 , 2017.
42
ThomasScialom,Paul-AlexisDray,SylvainLamprier,BenjaminPiwowarski,andJacopoStaiano. Discriminative adversarial search for abstractive summarization. In Hal Daumé III and Aarti Singh, editors,
Proceedings of the 37th International Conference on Machine Learning , volume 119 of Proceedings of Machine
LearningResearch ,pages8555–8564.PMLR,13–18Jul2020a. URL https://proceedings.mlr.press/v119/
scialom20a.html .


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
scialom20a.html。
Thomas Scialom, Paul-Alexis Dray, Sylvain Lamprier, Benjamin Piwowarski, and Jacopo Staiano. Coldgans: 慎重なサンプリング戦略で言語GANSを手なずける. Advances in Neural Information Processing Systems, 33:18978–18989, 2020b.
Rico Sennrich, Barry Haddow, and Alexandra Birch. サブワードユニットを用いたレアワードのニューラル機械翻訳, 2016.
Uri Shaham, Elad Segal, Maor Ivgi, Avia Efrat, Ori Yoran, Adi Haviv, Ankit Gupta, Wenhan Xiong, Mor Geva, Jonathan Berant, and Omer Levy. SCROLLS: 長い言語シーケンスに対する標準化された比較. In Proceedingsofthe2022ConferenceonEmpiricalMethodsinNaturalLanguageProcessing, pages12007–12021, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics. URL https://aclanthology.org/2022.emnlp-main.823.
Noam Shazeer. 速いトランスフォーマーデコーディング: 1つの書き込みヘッドがすべて必要です, 2019.

Llama 2: Open Foundation and Fine-Tuned Chat Models
scialom20a.html .
ThomasScialom,Paul-AlexisDray,SylvainLamprier,BenjaminPiwowarski,andJacopoStaiano. Coldgans:
Taming language gans with cautious sampling strategies. Advances in Neural Information Processing Systems ,
33:18978–18989, 2020b.
RicoSennrich,BarryHaddow,andAlexandraBirch. Neuralmachinetranslationofrarewordswithsubword
units, 2016.
UriShaham,EladSegal,MaorIvgi,AviaEfrat,OriYoran,AdiHaviv,AnkitGupta,WenhanXiong,MorGeva,
Jonathan Berant, and Omer Levy. SCROLLS: Standardized CompaRison over long language sequences. In
Proceedingsofthe2022ConferenceonEmpiricalMethodsinNaturalLanguageProcessing ,pages12007–12021,
Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics. URL
https://aclanthology.org/2022.emnlp-main.823 .
Noam Shazeer. Fast transformer decoding: One write-head is all you need, 2019.


Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
Noam Shazeer. Fast transformer decoding: One write-head is all you need, 2019.
Noam Shazeer. Glu variants improve transformer, 2020.
MohammadShoeybi, MostofaPatwary, RaulPuri, PatrickLeGresley, JaredCasper, andBryanCatanzaro.
Megatron-lm: Training multi-billion parameter language models using model parallelism, 2019.
Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, and Ross Anderson. The curse
of recursion: Training on generated data makes models forget. arXiv preprint arxiv:2305.17493 , 2023.
Eric Michael Smith and Adina Williams. Hi, my name is martha: Using names to measure and mitigate bias
in generative dialogue models. arXiv preprint arXiv:2109.03300 , 2021.
Eric Michael Smith, Melissa Hall, Melanie Kambadur, Eleonora Presani, and Adina Williams. “i’m sorry to
hear that”: Finding new biasesin language models with aholistic descriptor dataset. In Proceedings of the
2022 Conference on Empirical Methods in Natural Language Processing , pages 9180–9211, 2022.

Llama 2: Open Foundation and Fine-Tuned Chat Models
Noam Shazeer. Fast transformer decoding: One write-head is all you need, 2019.
Noam Shazeer. Glu variants improve transformer, 2020.
MohammadShoeybi, MostofaPatwary, RaulPuri, PatrickLeGresley, JaredCasper, andBryanCatanzaro.
Megatron-lm: Training multi-billion parameter language models using model parallelism, 2019.
Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, and Ross Anderson. The curse
of recursion: Training on generated data makes models forget. arXiv preprint arxiv:2305.17493 , 2023.
Eric Michael Smith and Adina Williams. Hi, my name is martha: Using names to measure and mitigate bias
in generative dialogue models. arXiv preprint arXiv:2109.03300 , 2021.
Eric Michael Smith, Melissa Hall, Melanie Kambadur, Eleonora Presani, and Adina Williams. “i’m sorry to
hear that”: Finding new biasesin language models with aholistic descriptor dataset. In Proceedings of the
2022 Conference on Empirical Methods in Natural Language Processing , pages 9180–9211, 2022.


Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
自然言語処理における経験的手法の2022年会議、ページ9180-9211、2022年。
Irene Solaiman、Zeerak Talat、William Agnew、Lama Ahmad、Dylan Baker、Su Lin Blodgett、Hal Daumé III、Jesse Dodge、Ellie Evans、Sara Hookerら。システムと社会における生成AIシステムの社会的影響の評価。arXivプレプリントarXiv:2306.05949、2023年。
Nisan Stiennon、Long Ouyang、Jeff Wu、Daniel M. Ziegler、Ryan Lowe、Chelsea Voss、Alec Radford、Dario Amodei、Paul Christiano。NeurIPS、2020年における人間のフィードバックからの要約の学習。
Jianlin Su、Yu Lu、Shengfeng Pan、Ahmed Murtadha、Bo Wen、Yunfeng Liu。Roformer: ロータリーポジション埋め込みを備えた強化されたトランスフォーマー、2022年。
Mirac Suzgun、Nathan Scales、Nathanael Schärli、Sebastian Gehrmann、Yi Tay、HyungWon Chung、Aakanksha

Llama 2: Open Foundation and Fine-Tuned Chat Models
2022 Conference on Empirical Methods in Natural Language Processing , pages 9180–9211, 2022.
IreneSolaiman,ZeerakTalat,WilliamAgnew,LamaAhmad,DylanBaker,SuLinBlodgett,HalDauméIII,
Jesse Dodge, Ellie Evans, Sara Hooker, et al. Evaluating the social impact of generative ai systems in
systems and society. arXiv preprint arXiv:2306.05949 , 2023.
NisanStiennon,LongOuyang,JeﬀWu,DanielM.Ziegler,RyanLowe,ChelseaVoss,AlecRadford,Dario
Amodei, and Paul Christiano. Learning to summarize from human feedback. In NeurIPS, 2020.
Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, and Yunfeng Liu. Roformer: Enhanced
transformer with rotary position embedding, 2022.
MiracSuzgun,NathanScales,NathanaelSchärli,SebastianGehrmann,YiTay,HyungWonChung,Aakanksha


Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
Chowdhery、Quoc V Le、Ed H Chi、Denny Zhouら。大規模なベンチマークタスクへの挑戦と、chain-of-thoughtがそれらを解決できるかどうか。arXivプリントarXiv:2210.09261、2022年。
Gabriel Synnaeve、Jonas Gehring、Zeming Lin、Daniel Haziza、Nicolas Usunier、Danielle Rothermel、Vegard Mella、Da Ju、Nicolas Carion、Laura Gustafsonら。一緒に成長する：大規模なアクションスペースのための構造化された探索。2019年。
Yarden Tal、Inbal Magar、Roy Schwartz。エラーは少ないが、ステレオタイプは多い？モデルサイズがジェンダーバイアスに与える影響。第4回ジェンダーバイアス自然言語処理ワークショップ（GeBNLP）論文集、112-120ページ、ワシントン州シアトル、2022年7月。計算言語学協会。doi: 10.18653/v1/2022.gebnlp-1.13. URL https://aclanthology.org/2022.gebnlp-1.13。
AlonTalmor、JonathanHerzig、NicholasLourie、JonathanBerant。Commonsenseqa：常識知識を対象とした質問応答チャレンジ。arXivプリントarXiv:1811.00937、2018年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
Chowdhery, Quoc V Le, Ed H Chi, Denny Zhou, et al. Challenging big-bench tasks and whether chain-ofthought can solve them. arXiv preprint arXiv:2210.09261 , 2022.
Gabriel Synnaeve, Jonas Gehring, Zeming Lin, Daniel Haziza, Nicolas Usunier, Danielle Rothermel, Vegard
Mella, Da Ju, Nicolas Carion, Laura Gustafson, et al. Growing up together: Structured exploration for
large action spaces. 2019.
Yarden Tal, Inbal Magar, and Roy Schwartz. Fewer errors, but more stereotypes? the eﬀect of model
size on gender bias. In Proceedings of the 4th Workshop on Gender Bias in Natural Language Processing
(GeBNLP) , pages 112–120, Seattle, Washington, July 2022. Association for Computational Linguistics. doi:
10.18653/v1/2022.gebnlp-1.13. URL https://aclanthology.org/2022.gebnlp-1.13 .
AlonTalmor,JonathanHerzig,NicholasLourie,andJonathanBerant.Commonsenseqa: Aquestionanswering
challenge targeting commonsense knowledge. arXiv preprint arXiv:1811.00937 , 2018.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
コモンセンス知識をターゲットとした課題。arXivプリントarXiv:1811.00937、2018年。
RohanTaori、IshaanGulrajani、TianyiZhang、YannDubois、XuechenLi、CarlosGuestrin、PercyLiang、およびTatsunoriB.Hashimoto。Stanfordalpaca:指示に従うラマモデル。https://github.com/tatsu-lab/stanford_alpaca、2023年。
Ross Taylor、Marcin Kardas、Guillem Cucurull、Thomas Scialom、Anthony Hartshorn、Elvis Saravia、Andrew Poulton、ViktorKerkez、およびRobertStojnic。Galactica:科学のための大規模言語モデル。arXivプリントarXiv:2211.09085、2022年。
43
HugoTouvron、ThibautLavril、GautierIzacard、XavierMartinet、Marie-AnneLachaux、TimothéeLacroix、Baptiste Rozière、Naman Goyal、Eric Hambro、Faisal Azhar、Aur’elien Rodriguez、Armand Joulin、Edouard

Llama 2: Open Foundation and Fine-Tuned Chat Models
challenge targeting commonsense knowledge. arXiv preprint arXiv:1811.00937 , 2018.
RohanTaori,IshaanGulrajani,TianyiZhang,YannDubois,XuechenLi,CarlosGuestrin,PercyLiang,and
TatsunoriB.Hashimoto. Stanfordalpaca: Aninstruction-followingllamamodel. https://github.com/
tatsu-lab/stanford_alpaca , 2023.
Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew
Poulton,ViktorKerkez,andRobertStojnic. Galactica: Alargelanguagemodelforscience. arXivpreprint
arXiv:2211.09085 , 2022.
43
HugoTouvron,ThibautLavril,GautierIzacard,XavierMartinet,Marie-AnneLachaux,TimothéeLacroix,
Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aur’elien Rodriguez, Armand Joulin, Edouard


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
Baptiste Rozière、Naman Goyal、Eric Hambro、Faisal Azhar、Aur’elien Rodriguez、Armand Joulin、Edouard
Grave、およびGuillaume Lample。Llama: オープンで効率的なファウンデーション言語モデル。arXivプリント
arXiv:2302.13971、2023年。
Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser、
およびIllia Polosukhin。Attention is all you need、2017年。
Oriol Vinyals、Igor Babuschkin、Wojciech M Czarnecki、Michaël Mathieu、Andrew Dudzik、Junyoung Chung、David H Choi、Richard Powell、Timo Ewalds、Petko Georgiev、その他。Grandmaster level in starcraft ii using
multi-agent reinforcement learning。Nature、575(7782)：350–354、2019年。
Yizhong Wang、Yeganeh Kordi、Swaroop Mishra、Alisa Liu、Noah A Smith、Daniel Khashabi、およびHannanehHajishirzi。Self-instruct: Aligninglanguagemodel withselfgeneratedinstructions。arXivプリント

Llama 2: Open Foundation and Fine-Tuned Chat Models
Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aur’elien Rodriguez, Armand Joulin, Edouard
Grave, and Guillaume Lample. Llama: Open and eﬃcient foundation language models. arXiv preprint
arXiv:2302.13971 , 2023.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser,
and Illia Polosukhin. Attention is all you need, 2017.
Oriol Vinyals, Igor Babuschkin, Wojciech M Czarnecki, Michaël Mathieu, Andrew Dudzik, Junyoung Chung,
David H Choi, Richard Powell, Timo Ewalds, Petko Georgiev, et al. Grandmaster level in starcraft ii using
multi-agent reinforcement learning. Nature, 575(7782):350–354, 2019.
Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A Smith, Daniel Khashabi, and HannanehHajishirzi. Self-instruct: Aligninglanguagemodel withselfgeneratedinstructions. arXivpreprint


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
arXiv:2212.10560、2022年。
マイケル・ウェブ。労働市場への人工知能の影響。SSRN 3482150、2019年。
ジェイソン・ウェイ、マーテン・ボスマ、ヴィンセント・ザオ、ケルビン・グー、アダムス・ウェイユ、ブライアン・レスター、ナン・ドゥ、アンドリュー・M・ダイ、およびクオック・V・レ。ファインチューンされた言語モデルはゼロショットラーナーです。国際学習表現会議、2021年。
ジェイソン・ウェイ、マーテン・ボスマ、ヴィンセント・ザオ、ケルビン・グー、アダムス・ウェイユ、ブライアン・レスター、ナン・ドゥ、アンドリュー・M・ダイ、およびクオック・V・レ。ファインチューンされた言語モデルはゼロショットラーナーです。国際学習表現会議、2022年a。URL https://openreview.net/forum?id=gEZrGCozdqR。
ジェイソン・ウェイ、シュエジ・ワン、デール・シュールマンズ、マーテン・ボスマ、フェイ・シア、エド・チー、クオック・V・レ、デニー・ジョウ、その他。チェーンオブソートプロンプティングエリシットリーズリングインラージランゲージモデル。ニューラル情報処理システムの進歩、35:24824–24837、2022年b。

Llama 2: Open Foundation and Fine-Tuned Chat Models
arXiv:2212.10560 , 2022.
Michael Webb. The impact of artiﬁcial intelligence on the labor market. Available at SSRN 3482150 , 2019.
Jason Wei, MaartenBosma, VincentZhao, KelvinGuu, Adams WeiYu, Brian Lester, NanDu, AndrewM Dai,
and Quoc V Le. Finetuned language models are zero-shot learners. In International Conference on Learning
Representations , 2021.
JasonWei,MaartenBosma,VincentZhao,KelvinGuu,AdamsWeiYu,BrianLester,NanDu,AndrewM.Dai,
and Quoc V Le. Finetuned language models are zero-shot learners. In International Conference on Learning
Representations , 2022a. URL https://openreview.net/forum?id=gEZrGCozdqR .
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al.
Chain-of-thoughtpromptingelicitsreasoninginlargelanguagemodels. AdvancesinNeuralInformation
Processing Systems , 35:24824–24837, 2022b.


Llama 2: オープンファンデーションとファインチューンされたチャットモデル処理システム, 35:24824–24837, 2022b.
Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griﬃn, Jonathan Uesato, Po-Sen Huang, Myra Cheng,
Mia Glaese, Borja Balle, Atoosa Kasirzadeh, 他. 言語モデルからの倫理的および社会的リスク. arXiv preprint arXiv:2112.04359 , 2021.
JohannesWelbl,AmeliaGlaese,JonathanUesato,SumanthDathathri,JohnMellor,LisaAnneHendricks,
KirstyAnderson,PushmeetKohli,BenCoppin,andPo-SenHuang. 言語モデルの解毒における課題, 2021.
Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria
Chang, Fiona Aga, Jinshi Huang, Charles Bai, 他. 持続可能なAI: 環境への影響、課題、機会. Proceedings of Machine Learning and Systems , 4:795–813, 2022.

Llama 2: Open Foundation and Fine-Tuned Chat Models
Processing Systems , 35:24824–24837, 2022b.
Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griﬃn, Jonathan Uesato, Po-Sen Huang, Myra Cheng,
Mia Glaese, Borja Balle, Atoosa Kasirzadeh, et al. Ethical and social risks of harm from language models.
arXiv preprint arXiv:2112.04359 , 2021.
JohannesWelbl,AmeliaGlaese,JonathanUesato,SumanthDathathri,JohnMellor,LisaAnneHendricks,
KirstyAnderson,PushmeetKohli,BenCoppin,andPo-SenHuang. Challengesindetoxifyinglanguage
models, 2021.
Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria
Chang, Fiona Aga, Jinshi Huang, Charles Bai, et al. Sustainable ai: Environmental implications, challenges
and opportunities. Proceedings of Machine Learning and Systems , 4:795–813, 2022.


Llama 2: オープンファンデーションとファインチューンされたチャットモデルと機会。機械学習とシステムの論文集、4:795–813、2022年。
JingXu、DaJu、MargaretLi、Y-LanBoureau、JasonWeston、およびEmilyDinan。オープンドメインのチャットボットの安全性のためのレシピ、2021年。
RowanZellers、AriHoltzman、YonatanBisk、AliFarhadi、およびYejinChoi。Hellaswag: 本当にあなたの文章を完成させることができるのか？arXivプレプリントarXiv:1905.07830、2019a。
Rowan Zellers、Ari Holtzman、Hannah Rashkin、Yonatan Bisk、Ali Farhadi、Franziska Roesner、およびYejin Choi。ニューラルフェイクニュースに対する防御。ニューラル情報処理システムの進歩、32、2019b。
Biao Zhang、およびRico Sennrich。平均二乗平方根層正規化、2019年。
Susan Zhang、Stephen Roller、Naman Goyal、Mikel Artetxe、Moya Chen、Shuohui Chen、Christopher Dewan、Mona Diab、Xian Li、Xi Victoria Lin、その他。OPT: オープンプリトレーニング済みトランスフォーマーランゲージモデル。arXivプレプリントarXiv:2205.01068、2022年。

Llama 2: Open Foundation and Fine-Tuned Chat Models
and opportunities. Proceedings of Machine Learning and Systems , 4:795–813, 2022.
JingXu,DaJu,MargaretLi,Y-LanBoureau,JasonWeston,andEmilyDinan.Recipesforsafetyinopen-domain
chatbots, 2021.
RowanZellers,AriHoltzman,YonatanBisk,AliFarhadi,andYejinChoi. Hellaswag: Canamachinereally
ﬁnish your sentence? arXiv preprint arXiv:1905.07830 , 2019a.
Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin
Choi. Defending against neural fake news. Advances in neural information processing systems , 32, 2019b.
Biao Zhang and Rico Sennrich. Root mean square layer normalization, 2019.
Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan,
Mona Diab, Xian Li, Xi Victoria Lin, et al. Opt: Open pre-trained transformer language models. arXiv
preprint arXiv:2205.01068 , 2022.


Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
preprint arXiv:2205.01068 , 2022.
Yanli Zhao, Andrew Gu, Rohan Varma, Liang Luo, Chien-Chin Huang, Min Xu, Less Wright, Hamid
Shojanazeri,MyleOtt,SamShleifer,AlbanDesmaison,CanBalioglu,BernardNguyen,GeetaChauhan,
Yuchen Hao, and Shen Li. Pytorch fsdp: 完全にシャーディングされたデータ並列化のスケーリングに関する経験, 2023.
Wanjun Zhong, Ruixiang Cui, Yiduo Guo, Yaobo Liang, Shuai Lu, Yanlin Wang, Amin Saied, Weizhu Chen,
andNanDuan. Agieval: ファウンデーションモデルの評価のためのヒューマンセントリックなベンチマーク. arXivpreprint
arXiv:2304.06364 , 2023.
Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, Lili
Yu,SusanZhang,GargiGhosh,MikeLewis,LukeZettlemoyer,andOmerLevy. Lima: アライメントのために少ない方が良い. arXiv preprint arXiv:2305.11206 , 2023.

Llama 2: Open Foundation and Fine-Tuned Chat Models
preprint arXiv:2205.01068 , 2022.
Yanli Zhao, Andrew Gu, Rohan Varma, Liang Luo, Chien-Chin Huang, Min Xu, Less Wright, Hamid
Shojanazeri,MyleOtt,SamShleifer,AlbanDesmaison,CanBalioglu,BernardNguyen,GeetaChauhan,
Yuchen Hao, and Shen Li. Pytorch fsdp: Experiences on scaling fully sharded data parallel, 2023.
Wanjun Zhong, Ruixiang Cui, Yiduo Guo, Yaobo Liang, Shuai Lu, Yanlin Wang, Amin Saied, Weizhu Chen,
andNanDuan. Agieval: Ahuman-centricbenchmarkforevaluatingfoundationmodels. arXivpreprint
arXiv:2304.06364 , 2023.
Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, Lili
Yu,SusanZhang,GargiGhosh,MikeLewis,LukeZettlemoyer,andOmerLevy. Lima: Lessismorefor
alignment. arXiv preprint arXiv:2305.11206 , 2023.