Lemur 70b V1

🚀 lemur-70b-v1

Lemur-70b-v1は、テキスト生成やコード生成などのタスクに特化したモデルです。高性能な生成能力を持ち、様々なシナリオでの利用が期待されます。

📄論文: https://arxiv.org/abs/2310.06830

👩‍💻コード: https://github.com/OpenLemur/Lemur

🚀 クイックスタート

セットアップ

まず、GitHubのrequirements.txtに記載されているすべてのライブラリをインストールする必要があります。

pip install -r requirements.txt

想定される使用方法

このモデルは命令に従うコーパスで学習されていないため、「Pythonでクイックソートを行うコードはどう書けばいいですか？」のような質問にはうまく応答しません。

生成

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("OpenLemur/lemur-70b-v1")
model = AutoModelForCausalLM.from_pretrained("OpenLemur/lemur-70b-v1", device_map="auto", load_in_8bit=True)

# テキスト生成の例
prompt = "The world is "
input = tokenizer(prompt, return_tensors="pt")
output = model.generate(**input, max_length=50, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

# コード生成の例
prompt = """
def factorial(n):
    if n == 0:
        return 1
"""
input = tokenizer(prompt, return_tensors="pt")
output = model.generate(**input, max_length=200, num_return_sequences=1)
generated_code = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_code)

📄 ライセンス

このモデルはLlama-2のコミュニティライセンス契約の下でライセンスされています。

謝辞

Lemurプロジェクトは、XLang LabとSalesforce Researchの共同研究によるオープンな取り組みです。Salesforce、Google Research、Amazon AWSの支援に感謝します。