Dictalm2.0 Instruct

🚀 DictaLM 2.0-Instruct 大規模言語モデル

ヘブライ語に最適化された、拡張された語彙と命令機能を備えた大規模言語モデルです。

DictaLM-2.0-Instruct大規模言語モデル（LLM）は、様々な会話データセットを使用して、DictaLM-2.0生成モデルを命令に関して微調整したバージョンです。

このモデルの詳細については、リリースブログ記事または技術レポートをご覧ください。

これはチャット用に設計された命令微調整済みの全精度モデルです。こちらでライブデモを試すことができます。

DictaLM-2.0の基本/命令、非量子化/量子化バージョンの完全なコレクションをこちらで閲覧およびアクセスできます。

🚀 クイックスタート

命令形式

命令の微調整を活用するためには、プロンプトを[INST]と[/INST]トークンで囲む必要があります。最初の命令は文頭識別子で始める必要があり、次の命令はその必要はありません。アシスタントの生成は文末トークン識別子で終了します。

例：

text = """<s>[INST] איזה רוטב אהוב עליך? [/INST]
טוב, אני די מחבב כמה טיפות מיץ לימון סחוט טרי. זה מוסיף בדיוק את הכמות הנכונה של טעם חמצמץ לכל מה שאני מבשל במטבח!</s>[INST] האם יש לך מתכונים למיונז? [/INST]"

この形式は、apply_chat_template()メソッドを介してチャットテンプレートとして利用できます。

コード例

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("dicta-il/dictalm2.0-instruct", torch_dtype=torch.bfloat16, device_map=device)
tokenizer = AutoTokenizer.from_pretrained("dicta-il/dictalm2.0-instruct")

messages = [
    {"role": "user", "content": "איזה רוטב אהוב עליך?"},
    {"role": "assistant", "content": "טוב, אני די מחבב כמה טיפות מיץ לימון סחוט טרי. זה מוסיף בדיוק את הכמות הנכונה של טעם חמצמץ לכל מה שאני מבשל במטבח!"},
    {"role": "user", "content": "האם יש לך מתכונים למיונז?"}
]

encoded = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)

generated_ids = model.generate(encoded, max_new_tokens=50, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])
# <s> [INST] איזה רוטב אהוב עליך? [/INST]
# טוב, אני די מחבב כמה טיפות מיץ לימון סחוט טרי. זה מוסיף בדיוק את הכמות הנכונה של טעם חמצמץ לכל מה שאני מבשל במטבח!</s>  [INST] האם יש לך מתכונים למיונז? [/INST]
# בטח, הנה מתכון בסיסי וקל להכנת מיונז ביתי!
# 
# מרכיבים:
# - 2 חלמונים גדולים
# - 1 כף חומץ יין לבן
# (it stopped early because we set max_new_tokens=50)

✨ 主な機能

• ヘブライ語に最適化された命令微調整済みの大規模言語モデルです。
• 拡張された語彙と命令機能を備えています。
• Zephyr-7B-betaの微調整手法をベースに、ヘブライ語用の拡張命令データセットを使用しています。

🔧 技術詳細

DictaLM-2.0-Instructは、Zephyr-7B-betaの命令モデルを微調整する手法をベースに、ヘブライ語用の拡張命令データセットを使用しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 ドキュメント

制限事項

DictaLM 2.0 Instructモデルは、ベースモデルを微調整することで魅力的なパフォーマンスを達成できることを示すデモンストレーションです。このモデルにはモデレーションメカニズムがありません。モデルがガードレールをきめ細かく尊重し、モデレーションされた出力が必要な環境でのデプロイを可能にする方法について、コミュニティと協力したいと考えています。

引用

このモデルを使用する場合は、以下のように引用してください。

@misc{shmidman2024adaptingllmshebrewunveiling,
      title={Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with Enhanced Vocabulary and Instruction Capabilities}, 
      author={Shaltiel Shmidman and Avi Shmidman and Amir DN Cohen and Moshe Koppel},
      year={2024},
      eprint={2407.07080},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.07080}, 
}

情報テーブル