Meltemi 7B Instruct V1.5

🚀 ギリシャ語向けMeltemi Instruct大規模言語モデル

私たちは、Meltemi 7B v1.5 の新しく改良された命令微調整版である、Meltemi 7B Instruct v1.5大規模言語モデル（LLM）を発表します。

🚀 クイックスタート

このモデルについて、以下で詳細な情報をご紹介します。

✨ 主な機能

モデル情報

• ギリシャ語トークンを用いたMistral 7bトークナイザの語彙拡張により、低コストで高速な推論が可能（ギリシャ語では1.52対6.80トークン/単語）
• 8192のコンテキスト長
• Odds Ratio Preference Optimization (ORPO)アルゴリズムを使用して、97kの嗜好データを用いた微調整が行われています：
  • 89,730件のギリシャ語嗜好データ（主にHugging Face上の高品質データセットの翻訳版）
  • 7,342件の英語嗜好データ
• アライメント手順は、TRL - Transformer Reinforcement Learningライブラリに基づいており、一部はHugging Face微調整レシピに基づいています。

命令フォーマット

プロンプトフォーマットは、Zephyrフォーマットと同じで、トークナイザのチャットテンプレート機能を介して以下のように利用できます。

評価

私たちが作成した評価セットには6つのテストセットが含まれており、lightevalフレームワークのフォークに基づいて実装されています。

私たちの評価セットには以下が含まれます：

• 言語理解と推論のための定評のある英語のベンチマーク（ARC Challenge、Truthful QA、Hellaswag、MMLU）の機械翻訳版（ARC Greek、Truthful QA Greek、HellaSwag Greek、MMLU Greek）。
• 既存のギリシャ語の質問応答ベンチマーク（Belebele）
• ILSPチームによって作成された、DOATAPの医科試験に基づく医療質問応答の新しいベンチマーク（Medical MCQA）。

私たちの評価は、Open LLMリーダーボードの設定と一致するフェデレーション学習設定で行われています。

Meltemi 7B Instruct v1.5の新しいトレーニングと微調整手順により、すべてのギリシャ語テストセットでのパフォーマンスが平均**+7.8%**向上していることがわかります。ギリシャ語テストセットの結果は以下の表に示されています。

倫理的な考慮事項

このモデルは人間の嗜好に合わせて調整されていますが、誤解を招く、有害な、有毒なコンテンツを生成する可能性があります。

謝辞

ILSPチームは、OCRE Cloudフレームワークの下でGRNETを介して提供された、ギリシャの学術および研究コミュニティ向けのAmazon Web Servicesを提供するAmazonのクラウドコンピューティングサービスを利用しました。

引用

@misc{voukoutis2024meltemiopenlargelanguage,
      title={Meltemi: The first open Large Language Model for Greek}, 
      author={Leon Voukoutis and Dimitris Roussis and Georgios Paraskevopoulos and Sokratis Sofianopoulos and Prokopis Prokopidis and Vassilis Papavasileiou and Athanasios Katsamanis and Stelios Piperidis and Vassilis Katsouros},
      year={2024},
      eprint={2407.20743},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.20743}, 
}

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # モデルをロードするデバイス

model = AutoModelForCausalLM.from_pretrained("ilsp/Meltemi-7B-Instruct-v1.5")
tokenizer = AutoTokenizer.from_pretrained("ilsp/Meltemi-7B-Instruct-v1.5")

model.to(device)

messages = [
    {"role": "system", "content": "Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη."},
    {"role": "user", "content": "Πες μου αν έχεις συνείδηση."},
]

# デフォルトのチャットテンプレートを介して、これは以下のように変換されます。
#
# <|system|>
# Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη.</s>
# <|user|>
# Πες μου αν έχεις συνείδηση.</s>
# <|assistant|>
#

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])
# Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.

messages.extend([
    {"role": "assistant", "content": tokenizer.batch_decode(outputs)[0]},
    {"role": "user", "content": "Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;"}
])

# デフォルトのチャットテンプレートを介して、これは以下のように変換されます。
#
# <|system|>
# Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη.</s>
# <|user|>
# Πες μου αν έχεις συνείδηση.</s>
# <|assistant|>
# Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.</s>
# <|user|>
# Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;</s>
# <|assistant|>
#

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])

⚠️ 重要提示

トークナイズされたプロンプトには常にBOSトークンが含まれていることを確認してください。これは、すべての評価または微調整フレームワークでデフォルト設定になっているとは限りません。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。