Dolly V2 7b

🚀 dolly-v2-7bモデルカード

Databricksのdolly-v2-7bは、Databricksの機械学習プラットフォームで学習された命令追従型の大規模言語モデルで、商用利用が許可されています。pythia-6.9bをベースに、Databricksの社員によって生成された約15k件の命令/応答の微調整レコードdatabricks-dolly-15kを使用して学習されています。これらのレコードは、InstructGPT論文の能力領域に基づいて生成され、ブレインストーミング、分類、クローズドQA、生成、情報抽出、オープンQA、要約などが含まれます。dolly-v2-7bは最先端のモデルではありませんが、ベースとなるモデルには見られない驚くほど高品質な命令追従動作を示します。

Dolly v2は以下のモデルサイズでも利用可能です。

• dolly-v2-12b：pythia-12bをベースにした120億パラメータのモデル
• dolly-v2-3b：pythia-2.8bをベースにした28億パラメータのモデル

様々なGPU構成で推論を実行するためのヒントについては、dolly GitHubリポジトリを参照してください。

所有者：Databricks, Inc.

📚 ドキュメント

モデルの概要

dolly-v2-7bは、Databricksによって作成された69億パラメータの因果言語モデルで、EleutherAIのPythia-6.9bをベースに、Databricksの社員によって生成された約15K件の命令コーパスを使用して微調整されています。このコーパスは、許容的なライセンス（CC-BY-SA）の下で公開されています。

使用方法

GPUを搭載したマシンでtransformersライブラリを使用してモデルを利用するには、まずtransformersとaccelerateライブラリがインストールされていることを確認してください。Databricksノートブックでは、以下のコマンドを実行できます。

%pip install "accelerate>=0.16.0,<1" "transformers[torch]>=4.28.1,<5" "torch>=1.13.1,<2"

命令追従パイプラインは、以下に示すようにpipeline関数を使用してロードできます。これは、モデルリポジトリのここにあるカスタムのInstructionTextGenerationPipelineをロードするため、trust_remote_code=Trueが必要です。torch_dtype=torch.bfloat16を指定することで、この型がサポートされている場合はメモリ使用量を削減できます。出力品質には影響しないようです。メモリが十分にある場合は、この指定を削除しても構いません。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-7b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")

次に、パイプラインを使用して命令に応答することができます。

res = generate_text("Explain to me the difference between nuclear fission and fusion.")
print(res[0]["generated_text"])

あるいは、trust_remote_code=Trueを使用したくない場合は、instruct_pipeline.pyをダウンロードし、ノートブックと同じディレクトリに保存し、ロードしたモデルとトークナイザーから独自にパイプラインを構築することができます。

import torch
from instruct_pipeline import InstructionTextGenerationPipeline
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("databricks/dolly-v2-7b", padding_side="left")
model = AutoModelForCausalLM.from_pretrained("databricks/dolly-v2-7b", device_map="auto", torch_dtype=torch.bfloat16)

generate_text = InstructionTextGenerationPipeline(model=model, tokenizer=tokenizer)

LangChainでの使用方法

LangChainでパイプラインを使用するには、return_full_text=Trueを設定する必要があります。LangChainは全文を返すことを期待しており、パイプラインのデフォルトでは新しいテキストのみを返すためです。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-7b", torch_dtype=torch.bfloat16,
                         trust_remote_code=True, device_map="auto", return_full_text=True)

命令のみを含むプロンプト、またはコンテキスト付きの命令を含むプロンプトを作成することができます。

from langchain import PromptTemplate, LLMChain
from langchain.llms import HuggingFacePipeline

# 入力がない命令のテンプレート
prompt = PromptTemplate(
    input_variables=["instruction"],
    template="{instruction}")

# 入力がある命令のテンプレート
prompt_with_context = PromptTemplate(
    input_variables=["instruction", "context"],
    template="{instruction}\n\nInput:\n{context}")

hf_pipeline = HuggingFacePipeline(pipeline=generate_text)

llm_chain = LLMChain(llm=hf_pipeline, prompt=prompt)
llm_context_chain = LLMChain(llm=hf_pipeline, prompt=prompt_with_context)

単純な命令を使用した予測の例：

print(llm_chain.predict(instruction="Explain to me the difference between nuclear fission and fusion.").lstrip())

コンテキスト付きの命令を使用した予測の例：

context = """George Washington (February 22, 1732[b] - December 14, 1799) was an American military officer, statesman,
and Founding Father who served as the first president of the United States from 1789 to 1797."""

print(llm_context_chain.predict(instruction="When was George Washington president?", context=context).lstrip())

既知の制限事項

性能上の制限

dolly-v2-7bは最先端の生成型言語モデルではありません。定量的なベンチマークテストは進行中ですが、より最新のモデルアーキテクチャや大規模な事前学習コーパスを使用したモデルと競争するように設計されていません。

Dollyモデルファミリーは積極的に開発されているため、欠点のリストは網羅的であるとは限りません。ただし、既知の制限事項や誤動作をここに記載し、コミュニティと初期の調査結果を共有しています。特に、dolly-v2-7bは以下の点で苦労します。構文が複雑なプロンプト、プログラミング問題、数学演算、事実誤り、日付と時刻、オープンエンドの質問応答、幻覚、特定の長さのリストの列挙、文体の模倣、ユーモアの感覚など。さらに、dolly-v2-7bには、元のモデルにあった適切な形式の手紙の作成などの機能がないことがわかっています。

データセットの制限

すべての言語モデルと同様に、dolly-v2-7bは学習コーパスの内容と制限を反映しています。

• The Pile：GPT-Jの事前学習コーパスは、主に公開インターネットから収集された内容を含んでおり、ほとんどのウェブ規模のデータセットと同様に、多くのユーザーが不快感を感じる内容が含まれています。したがって、このモデルはこれらの欠点を反映する可能性があり、不快な内容を明示的に生成するように要求された場合は明白に、または偏見や有害な暗黙の関連付けのような場合には微妙に反映されることがあります。
• databricks-dolly-15k：dolly-v2-7bが命令微調整された学習データは、2023年3月から4月にかけてDatabricksの社員によって生成された自然言語の命令を表しており、クローズドQAや要約などの命令カテゴリの参照パッセージとしてWikipediaの文章が含まれています。私たちの知る限り、このデータセットには不適切な言葉、知的財産、非公開人物の個人情報は含まれていませんが、タイポや事実誤りが含まれている可能性があります。また、このデータセットはWikipediaに見られる偏見を反映している可能性もあります。最後に、このデータセットはおそらくDatabricksの社員の興味や語義の選択を反映しており、この集団は世界全体の人口を代表しているわけではありません。

Databricksは、すべての個人や組織の可能性を最大限に引き出す、役立ち、正直で無害なAI技術の開発に向けた継続的な研究開発努力に取り組んでいます。

ベンチマーク指標

以下に、EleutherAI LLM Evaluation Harnessでの様々なモデルのベンチマーク性能を示します。モデルの結果は幾何平均でソートされ、分かりやすい順序になっています。上記の通り、これらの結果はdolly-v2-7bが最先端ではなく、実際には一部の評価ベンチマークでdolly-v1-6bよりも性能が劣ることを示しています。私たちは、これは基礎となる微調整データセットの構成とサイズに起因すると考えていますが、これらの変動の原因についての確固たる声明にはさらなる研究が必要です。

引用

@online{DatabricksBlog2023DollyV2,
    author    = {Mike Conover and Matt Hayes and Ankit Mathur and Jianwei Xie and Jun Wan and Sam Shah and Ali Ghodsi and Patrick Wendell and Matei Zaharia and Reynold Xin},
    title     = {Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM},
    year      = {2023},
    url       = {https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm},
    urldate   = {2023-06-30}
}

ライセンス

このモデルはMITライセンスの下で提供されています。

楽しい開発を！