Meltemi 7B Instruct V1

🚀 メルテミ - ギリシャ語用の指示型大規模言語モデル

このモデルは、Meltemi-7B-v1 を指示型にファインチューニングした大規模言語モデル（LLM）です。ギリシャ語に特化した自然言語処理タスクに最適化されています。

🚨 新しいバージョンが利用可能です

このモデルは、新しいバージョン (v1.5) こちら に置き換えられました。

✨ 主な機能

• Mistral-7bトークナイザをギリシャ語トークンで拡張したボキャブラリを持ちます。
• 8192のコンテキスト長をサポートし、長い文脈を考慮した応答が可能です。
• 以下のデータセットから抽出された10万件のギリシャ語機械翻訳指示でファインチューニングされています。
  • Open-Platypus (許容ライセンスのサブセットのみ)
  • Evol-Instruct
  • Capybara
  • マルチターンの例を含む手作りのギリシャ語データセットで、安全で無害な応答を導くように調整されています。
• ファインチューニング手順は、Hugging Faceのファインチューニングレシピ に基づいています。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")
tokenizer = AutoTokenizer.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")

model.to(device)

messages = [
    {"role": "system", "content": "Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη."},
    {"role": "user", "content": "Πες μου αν έχεις συνείδηση."},
]

# Through the default chat template this translates to
#
# <|system|>
# Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη.</s>
# <|user|>
# Πες μου αν έχεις συνείδηση.</s>
# <|assistant|>
#

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])
# Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.

messages.extend([
    {"role": "assistant", "content": tokenizer.batch_decode(outputs)[0]},
    {"role": "user", "content": "Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;"}
])

# Through the default chat template this translates to
#
# <|system|>
# Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη.</s>
# <|user|>
# Πες μου αν έχεις συνείδηση.</s>
# <|assistant|>
# Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.</s>
# <|user|>
# Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;</s>
# <|assistant|>
#

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])

高度な使用法

高度な使用法に関する具体的なコード例は提供されていません。

📚 ドキュメント

指示フォーマット

プロンプトフォーマットは Zephyr と同じで、トークナイザの チャットテンプレート 機能を通じて利用できます。

評価

作成した評価セットには6つのテストセットが含まれており、lm-eval-harness と統合されています。

• 確立された英語の言語理解と推論のベンチマークの機械翻訳バージョン4つ (ARC Greek, Truthful QA Greek, HellaSwag Greek, MMLU Greek)。
• 既存のギリシャ語の質問応答ベンチマーク (Belebele)。
• ILSPチームによって作成された、DOATAP の医療試験に基づく医療質問応答の新しいベンチマーク (Medical MCQA)。

Meltemi-7bの評価は、Open LLMリーダーボード の設定と一致するフェデレーション学習環境で行われています。トレーニングにより、すべてのギリシャ語テストセットで平均 +14.9% の性能向上が見られます。ギリシャ語テストセットの結果は以下の表に示されています。

倫理的な考慮事項

このモデルは人間の嗜好と調整されていないため、誤解を招く、有害な、有毒な内容を生成する可能性があります。

謝辞

ILSPチームは、OCRE Cloudフレームワーク の下でGRNETを通じて利用可能になったAmazonのクラウドコンピューティングサービスを利用しました。これは、ギリシャの学術および研究コミュニティ向けにAmazon Web Servicesを提供しています。

引用

@misc{voukoutis2024meltemiopenlargelanguage,
      title={Meltemi: The first open Large Language Model for Greek}, 
      author={Leon Voukoutis and Dimitris Roussis and Georgios Paraskevopoulos and Sokratis Sofianopoulos and Prokopis Prokopidis and Vassilis Papavasileiou and Athanasios Katsamanis and Stelios Piperidis and Vassilis Katsouros},
      year={2024},
      eprint={2407.20743},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.20743}, 
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。