Dolly V2 12b

🚀 dolly-v2-12bモデルカード

Databricksのdolly-v2-12bは、Databricksの機械学習プラットフォームで学習された命令追従型の大規模言語モデルで、商用利用が許可されています。pythia-12bをベースに、Databricksの社員によって生成された約15,000件の命令/応答の微調整レコードdatabricks-dolly-15kを使用して学習されています。このデータセットは、InstructGPT論文の能力ドメインに基づいており、ブレインストーミング、分類、クローズドQA、生成、情報抽出、オープンQA、要約などが含まれます。dolly-v2-12bは最先端のモデルではありませんが、ベースとなるモデルには見られない驚くほど高品質な命令追従動作を示します。

Dolly v2は、以下のような小規模なモデルサイズでも利用可能です。

• dolly-v2-7b：pythia-6.9bをベースにした69億パラメータのモデル
• dolly-v2-3b：pythia-2.8bをベースにした28億パラメータのモデル

さまざまなGPU構成で推論を実行するためのヒントについては、dollyのGitHubリポジトリを参照してください。

所有者：Databricks, Inc.

🚀 クイックスタート

モデル概要

dolly-v2-12bは、Databricksによって作成された120億パラメータの因果言語モデルで、EleutherAIのPythia-12bをベースに、Databricksの社員によって生成された約15,000件の命令コーパスで微調整されています。このデータセットは、許容的なライセンス（CC-BY-SA）の下で公開されています。

モデルの使用方法

GPUを搭載したマシンでtransformersライブラリを使用してモデルを利用するには、まずtransformersとaccelerateライブラリをインストールする必要があります。Databricksノートブックでは、以下のコマンドを実行できます。

%pip install "accelerate>=0.16.0,<1" "transformers[torch]>=4.28.1,<5" "torch>=1.13.1,<2"

命令追従パイプラインは、以下に示すようにpipeline関数を使用して読み込むことができます。これは、モデルリポジトリのここにあるカスタムのInstructionTextGenerationPipelineを読み込むため、trust_remote_code=Trueが必要です。torch_dtype=torch.bfloat16を指定することで、メモリ使用量を削減できるため、このタイプがサポートされている場合は一般的に推奨されます。出力品質には影響を与えないようです。メモリが十分にある場合は、この指定を削除しても構いません。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")

次に、パイプラインを使用して命令に応答することができます。

res = generate_text("Explain to me the difference between nuclear fission and fusion.")
print(res[0]["generated_text"])

あるいは、trust_remote_code=Trueを使用したくない場合は、instruct_pipeline.pyをダウンロードし、ノートブックと同じディレクトリに保存して、読み込んだモデルとトークナイザーからパイプラインを自分で構築することができます。

import torch
from instruct_pipeline import InstructionTextGenerationPipeline
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("databricks/dolly-v2-12b", padding_side="left")
model = AutoModelForCausalLM.from_pretrained("databricks/dolly-v2-12b", device_map="auto", torch_dtype=torch.bfloat16)

generate_text = InstructionTextGenerationPipeline(model=model, tokenizer=tokenizer)

LangChainでの使用方法

LangChainでパイプラインを使用するには、return_full_text=Trueを設定する必要があります。LangChainは全文を返すことを期待しており、パイプラインのデフォルトは新しいテキストのみを返すためです。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16,
                         trust_remote_code=True, device_map="auto", return_full_text=True)

命令のみのプロンプト、またはコンテキスト付きの命令のプロンプトを作成することができます。

from langchain import PromptTemplate, LLMChain
from langchain.llms import HuggingFacePipeline

# 入力がない命令のテンプレート
prompt = PromptTemplate(
    input_variables=["instruction"],
    template="{instruction}")

# 入力がある命令のテンプレート
prompt_with_context = PromptTemplate(
    input_variables=["instruction", "context"],
    template="{instruction}\n\nInput:\n{context}")

hf_pipeline = HuggingFacePipeline(pipeline=generate_text)

llm_chain = LLMChain(llm=hf_pipeline, prompt=prompt)
llm_context_chain = LLMChain(llm=hf_pipeline, prompt=prompt_with_context)

単純な命令を使用した予測の例：

print(llm_chain.predict(instruction="Explain to me the difference between nuclear fission and fusion.").lstrip())

コンテキスト付きの命令を使用した予測の例：

context = """George Washington (February 22, 1732[b] - December 14, 1799) was an American military officer, statesman,
and Founding Father who served as the first president of the United States from 1789 to 1797."""

print(llm_context_chain.predict(instruction="When was George Washington president?", context=context).lstrip())

🔧 技術詳細

既知の制限事項

性能の制限

dolly-v2-12bは最先端の生成型言語モデルではありません。定量的なベンチマークテストは進行中ですが、より最新のモデルアーキテクチャや大規模な事前学習コーパスを使用したモデルと競争するように設計されていません。

Dollyモデルファミリーは積極的に開発されているため、欠点のリストは網羅的ではない可能性があります。ただし、既知の制限事項と誤動作を以下に記載し、コミュニティと初期の調査結果を共有しています。特に、dolly-v2-12bは、構文が複雑なプロンプト、プログラミング問題、数学演算、事実誤り、日付と時刻、オープンエンドの質問応答、幻覚、特定の長さのリストの列挙、文体の模倣、ユーモアの理解などに苦労します。さらに、dolly-v2-12bには、元のモデルに存在する形式が整った手紙の作成などの機能がないことがわかっています。

データセットの制限

すべての言語モデルと同様に、dolly-v2-12bは学習コーパスの内容と制限を反映しています。

• The Pile：GPT - Jの事前学習コーパスは、主に公開インターネットから収集された内容を含んでおり、ほとんどのウェブ規模のデータセットと同様に、多くのユーザーが不快感を感じる内容が含まれています。したがって、このモデルはこれらの欠点を反映する可能性があり、不快な内容を明示的に生成するように要求された場合は明白に、または偏見や有害な暗黙的な関連付けのように微妙に反映されることがあります。
• databricks-dolly-15k：dolly-v2-12bが命令微調整された学習データは、2023年3月から4月にかけてDatabricksの社員によって生成された自然言語の命令を表しており、クローズドQAや要約などの命令カテゴリの参照パッセージとしてWikipediaの文章が含まれています。私たちの知る限り、このデータセットには猥褻な言葉、知的財産、非公開人物の個人情報は含まれていませんが、タイポや事実誤りが含まれている可能性があります。また、このデータセットはWikipediaに見られる偏見を反映している可能性があります。最後に、このデータセットはおそらくDatabricksの社員の興味と語義の選択を反映しており、この集団は世界全体の人口を代表していません。

Databricksは、すべての個人と組織の可能性を最大限に引き出す、役立ち、正直、無害なAI技術の開発に向けた継続的な研究開発努力に取り組んでいます。

ベンチマーク指標

以下に、EleutherAI LLM Evaluation Harnessでのさまざまなモデルのベンチマーク性能を示します。モデルの結果は、幾何平均でソートされ、理解しやすい順序になっています。上記のとおり、これらの結果はdolly-v2-12bが最先端ではなく、実際には一部の評価ベンチマークでdolly-v1-6bよりも性能が低いことを示しています。これは、基礎となる微調整データセットの構成とサイズに起因すると考えられますが、これらの変動の原因についての確固たる結論を出すには、さらなる研究が必要です。

引用

@online{DatabricksBlog2023DollyV2,
    author    = {Mike Conover and Matt Hayes and Ankit Mathur and Jianwei Xie and Jun Wan and Sam Shah and Ali Ghodsi and Patrick Wendell and Matei Zaharia and Reynold Xin},
    title     = {Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM},
    year      = {2023},
    url       = {https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm},
    urldate   = {2023-06-30}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

Happy Hacking!