Sambalingo Hungarian Chat

🚀 SambaLingo-Hungarian-Chat

SambaLingo-Hungarian-Chatは、ハンガリー語と英語で訓練された、人間に適合したチャットモデルです。このモデルは、ベースモデルであるSambaLingo-Hungarian-Baseの上で直接嗜好最適化（Direct Preference Optimization）を使用して訓練されています。ベースモデルは、Cultura-Xデータセットのハンガリー語分割から590億トークンを使って訓練することで、Llama-2-7bをハンガリー語に適応させています。このモデルはSambaLingo-chat-spaceで試すことができます。

🚀 クイックスタート

Hugging Faceでのモデルの読み込み

トークナイザーを読み込む際には、use_fast=Falseを設定してください。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("sambanovasystems/SambaLingo-Hungarian-Chat", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("sambanovasystems/SambaLingo-Hungarian-Chat", device_map="auto", torch_dtype="auto")

モデルパイプラインとのやり取り

トークナイザーを読み込む際には、use_fast=Falseを設定してください。

from transformers import pipeline
pipe = pipeline("text-generation", model="sambanovasystems/SambaLingo-Hungarian-Chat", device_map="auto", use_fast=False)
messages = [
                {"role": "user", "content": {YOUR_QUESTION}},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt)[0]
outputs = outputs["generated_text"]

推論パラメータの提案

• 温度（Temperature）: 0.8
• 繰り返しペナルティ（Repetition penalty）: 1.0
• 上位確率（Top-p）: 0.9

プロンプトガイドライン

このモデルにプロンプトを与えるには、以下のチャットテンプレートを使用してください。

<|user|>\n{question}</s>\n<|assistant|>\n

プロンプトと生成の例

<|user|>
Mi a jelentőssége a magyar szürkemarhának?</s>
<|assistant|>
A magyar szürkemarha jelentős kulturális és gazdasági jelentőséggel bír Magyarország számára. Íme néhány ok, amiért:

1. Kulturális örökség: A magyar szürkemarha a magyar kultúra és örökség szimbóluma. A fajta évszázadok óta létezik, és a magyar puszta ikonikus szimbólumává vált.

2. Élelmiszer: A magyar szürkemarha húsa és teje kiváló minőségű, és keresett a magyar és a nemzetközi piacokon. A hús sovány, zsírszegény, és magas a fehérje- és vastartalma.

3. Turizmus: A magyar szürkemarha fontos turisztikai attrakció Magyarországon. A látogatók szívesen látogatják a szürkemarha farmokat, és megismerkednek a fajta történetével és tenyésztésével.

4. Génmegőrzés: A magyar szürkemarha fontos génmegőrző faj, amely segít megőrizni a hagyományos gazdálkodási gyakorlatokat és a helyi ökoszisztémákat.

5. Gazdasági hatás: A magyar szürkemarha fontos gazdasági tevékenység Magyarország számára. A fajta tenyésztése és feldolgozása munkahelyeket teremt, és bevételt generál a gazdálkodók és a feldolgozók számára.

Összességében a magyar szürkemarha jelentős kulturális, gazdasági és ökológiai jelentőséggel bír Magyarország számára. A fajta megőrzése és népszerűsítése fontos a magyar kultúra és örökség, valamint a helyi gazdaság és ökoszisztémák szempontjából.

✨ 主な機能

SambaLingo-Hungarian-Chatは、ハンガリー語と英語でのチャットに最適化されたモデルです。ベースモデルに対して直接嗜好最適化を行い、人間に適合した応答を生成することができます。

📚 ドキュメント

モデルの説明

• 開発元: SambaNova Systems
• モデルの種類: 言語モデル
• 言語: ハンガリー語、英語
• ファインチューニング元のモデル: Llama-2-7b
• このモデルを試す: SambaLingo-chat-space
• 論文: SambaLingo: Teaching Large Language Models New Languages
• ブログ記事: sambalingo-open-source-language-experts

トークナイザーの詳細

ベースのLlamaモデルの語彙を、新しい言語から最大25,000個の重複しないトークンを追加することで、32,000トークンから57,000トークンに拡張しています。

評価

評価結果については、論文 SambaLingo: Teaching Large Language Models New Languages を参照してください。

使用方法

直接使用

このモデルの使用は、Metaの Llama 2 Community License Agreement に準拠しています。モデルの重みをダウンロードする前に、ライセンスを確認して承諾してください。

不適切な使用

SambaLingoは以下の用途には使用しないでください。

• 使命に関わる重要なアプリケーション
• 他人の安全に関わるアプリケーション
• 非常に重要な決定を行うアプリケーション

バイアス、リスク、および制限

他のすべての大規模言語モデル（LLM）と同様に、SambaLingoには一定の制限があります。

• 幻覚（Hallucination）: モデルは時々、もっともらしいが事実と異なるまたは関係のない情報を含む応答を生成することがあります。
• コード切り替え（Code Switching）: モデルは、単一の応答内で意図せず言語や方言を切り替えることがあり、出力の一貫性と理解性に影響を与えます。
• 繰り返し: モデルは繰り返しのフレーズや文を生成することがあり、応答の魅力と情報性が低下します。
• コーディングと数学: モデルが正確なコードを生成したり、複雑な数学問題を解く能力は限られています。
• 毒性: モデルは不適切または有害な内容を含む応答を意図せず生成する可能性があります。

謝辞

オープンソースAIコミュニティに心から感謝を表します。この取り組みは、オープンソースなしでは不可能でした。SambaNovaはオープンソースコミュニティを受け入れ、このイニシアチブに積極的に貢献したいと考えています。

以下のグループに特別な感謝を表します。

• MetaがLLama 2をオープンソース化し、FLORES-200データセットを公開してくれたこと
• NguyenらがCulturaXデータセットをオープンソース化してくれたこと
• CohereAIがAYA-101を公開し、多言語命令微調整データセットをオープンソース化してくれたこと
• EleutherAIがオープンソースの評価フレームワークを提供してくれたこと
• Hugging Face-H4チームがZephyrの訓練レシピとアライメントハンドブックのリポジトリをオープンソース化してくれたこと

SambaLingoの引用

@misc{csaki2024sambalingo,
      title={SambaLingo: Teaching Large Language Models New Languages}, 
      author={Zoltan Csaki and Bo Li and Jonathan Li and Qiantong Xu and Pian Pawakapan and Leon Zhang and Yun Du and Hengyu Zhao and Changran Hu and Urmish Thakker},
      year={2024},
      eprint={2404.05829},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🔧 技術詳細

アライメントフェーズは、Zephyr-7Bのレシピに従い、教師付き微調整（SFT）と直接性能最適化（DPO）の2つの段階から構成されています。

SFTフェーズは、ultrachat_200kデータセットと、そのGoogle翻訳版を混合したデータセットで行われました。グローバルバッチサイズ512、最大シーケンス長2048トークンで1エポック訓練しました。学習率は2e-5の線形減衰を使用し、ウォームアップ率は10%でした。

DPOフェーズは、ultrafeedbackデータセットと cai-conversation-harmlessデータセットを、10%のデータをGoogle翻訳したものと混合したデータセットで行われました。グローバルバッチサイズ32で3エポック訓練しました。学習率は5e-7の線形減衰を使用し、ウォームアップ率は10%、DPOの正則化係数βは0.1としました。

📄 ライセンス

このモデルはLlama2ライセンスの下で提供されています。