Dolly V2 12b

🚀 dolly-v2-12b模型卡片

Databricks的dolly-v2-12b是一個遵循指令的大語言模型，在Databricks機器學習平臺上訓練，可用於商業用途。它基於pythia-12b，在約15k條指令/響應微調記錄上進行訓練，這些記錄來自Databricks員工生成的databricks-dolly-15k，涵蓋了InstructGPT論文中的多個能力領域，如頭腦風暴、分類、封閉式問答、生成、信息提取、開放式問答和總結等。dolly-v2-12b並非最先進的模型，但在遵循指令方面表現出了令人驚訝的高質量，這與它所基於的基礎模型不同。

Dolly v2還有以下較小尺寸的模型：

• dolly-v2-7b，基於pythia-6.9b，有69億參數。
• dolly-v2-3b，基於pythia-2.8b，有28億參數。

有關在各種GPU配置下運行推理的提示，請參考dolly GitHub倉庫。

所有者：Databricks, Inc.

🚀 快速開始

模型概述

dolly-v2-12b是由Databricks創建的一個具有120億參數的因果語言模型，它基於EleutherAI的Pythia-12b，並在Databricks員工生成的約15K條指令語料庫~15K record instruction corpus上進行了微調，該語料庫以寬鬆的許可協議（CC - BY - SA）發佈。

安裝

要在配備GPU的機器上使用transformers庫來使用該模型，首先要確保安裝了transformers和accelerate庫。在Databricks筆記本中可以運行以下命令：

%pip install "accelerate>=0.16.0,<1" "transformers[torch]>=4.28.1,<5" "torch>=1.13.1,<2"

使用示例

基礎用法

可以使用pipeline函數加載遵循指令的管道，如下所示。這裡加載了模型倉庫中此處的自定義InstructionTextGenerationPipeline，因此需要設置trust_remote_code = True。如果支持torch_dtype = torch.bfloat16，通常建議使用它以減少內存使用，且這似乎不會影響輸出質量。如果內存充足，也可以去掉該參數。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")

然後可以使用該管道回答指令：

res = generate_text("Explain to me the difference between nuclear fission and fusion.")
print(res[0]["generated_text"])

高級用法

如果你不想使用trust_remote_code = True，可以下載instruct_pipeline.py，將其與你的筆記本放在一起，然後從加載的模型和分詞器自己構建管道：

import torch
from instruct_pipeline import InstructionTextGenerationPipeline
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("databricks/dolly-v2-12b", padding_side="left")
model = AutoModelForCausalLM.from_pretrained("databricks/dolly-v2-12b", device_map="auto", torch_dtype=torch.bfloat16)

generate_text = InstructionTextGenerationPipeline(model=model, tokenizer=tokenizer)

LangChain使用示例

要在LangChain中使用該管道，必須設置return_full_text = True，因為LangChain期望返回完整文本，而管道的默認設置是隻返回新生成的文本。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16,
                         trust_remote_code=True, device_map="auto", return_full_text=True)

你可以創建一個只包含指令或包含指令和上下文的提示：

from langchain import PromptTemplate, LLMChain
from langchain.llms import HuggingFacePipeline

# 無輸入的指令模板
prompt = PromptTemplate(
    input_variables=["instruction"],
    template="{instruction}")

# 有輸入的指令模板
prompt_with_context = PromptTemplate(
    input_variables=["instruction", "context"],
    template="{instruction}\n\nInput:\n{context}")

hf_pipeline = HuggingFacePipeline(pipeline=generate_text)

llm_chain = LLMChain(llm=hf_pipeline, prompt=prompt)
llm_context_chain = LLMChain(llm=hf_pipeline, prompt=prompt_with_context)

使用簡單指令進行預測的示例：

print(llm_chain.predict(instruction="Explain to me the difference between nuclear fission and fusion.").lstrip())

使用包含上下文的指令進行預測的示例：

context = """George Washington (February 22, 1732[b] - December 14, 1799) was an American military officer, statesman,
and Founding Father who served as the first president of the United States from 1789 to 1797."""

print(llm_context_chain.predict(instruction="When was George Washington president?", context=context).lstrip())

🔧 技術細節

已知限制

性能限制

dolly-v2-12b不是最先進的生成式語言模型，儘管正在進行定量基準測試，但它的設計目的並非與更現代的模型架構或在更大預訓練語料庫上訓練的模型競爭。

Dolly模型家族正在積極開發中，因此任何缺點列表都不太可能詳盡無遺，但我們在此列出已知的限制和失誤，以便向社區記錄和分享我們的初步發現。特別是，dolly-v2-12b在處理以下方面存在困難：語法複雜的提示、編程問題、數學運算、事實錯誤、日期和時間、開放式問答、幻覺、枚舉特定長度的列表、風格模仿、幽默感等。此外，我們發現dolly-v2-12b不具備原始模型中的一些能力，如格式良好的信件寫作。

數據集限制

與所有語言模型一樣，dolly-v2-12b反映了其訓練語料庫的內容和限制。

• The Pile：GPT - J的預訓練語料庫主要包含從公共互聯網收集的內容，與大多數網絡規模的數據集一樣，它包含許多用戶可能會反感的內容。因此，該模型可能會反映這些缺點，在明確要求生成反感內容時可能會明顯表現出來，有時也會以微妙的方式表現出來，如存在有偏見或有害的隱含關聯。
• databricks-dolly-15k：dolly-v2-12b進行指令微調的訓練數據代表了Databricks員工在2023年3月至4月期間生成的自然語言指令，其中包括來自維基百科的段落，作為封閉式問答和總結等指令類別的參考段落。據我們所知，它不包含淫穢內容、知識產權或非公眾人物的個人身份信息，但可能包含拼寫錯誤和事實錯誤。該數據集也可能反映了維基百科中的偏見。最後，該數據集可能反映了Databricks員工的興趣和語義選擇，而這一群體並不能代表全球總體人口。

Databricks致力於持續的研究和開發工作，以開發有益、誠實和無害的人工智能技術，充分發揮所有個人和組織的潛力。

基準指標

以下是各種模型在EleutherAI LLM Evaluation Harness上的基準測試性能；模型結果按幾何平均值排序，以產生一個清晰的順序。如上所述，這些結果表明dolly-v2-12b並非最先進的模型，實際上在某些評估基準測試中表現不如dolly-v1-6b。我們認為這是由於基礎微調數據集的組成和大小造成的，但要對這些差異的來源做出有力的說明，還需要進一步的研究。

📄 許可證

本項目採用MIT許可證。

📚 引用

@online{DatabricksBlog2023DollyV2,
    author    = {Mike Conover and Matt Hayes and Ankit Mathur and Jianwei Xie and Jun Wan and Sam Shah and Ali Ghodsi and Patrick Wendell and Matei Zaharia and Reynold Xin},
    title     = {Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM},
    year      = {2023},
    url       = {https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm},
    urldate   = {2023-06-30}
}

🔚 結束語

祝使用愉快！