Llama Krikri 8B Base

🚀 Llama-Krikri-8B-Base: ギリシャ語向けの大規模言語モデル

2024年3月26日にMeltemi-7Bがリリースされた後、ILSPのオープンギリシャ語LLMファミリーにKrikriを迎えることができて嬉しいです。 KrikriはLlama-3.1-8Bをベースに構築されており、高品質で地域に関連する大量のギリシャ語テキストコーパスを用いた継続的な事前学習により、ギリシャ語に対する能力を拡張しています。ここではLlama-Krikri-8B-Baseと、命令型バージョンのLlama-Krikri-8B-Instructを紹介します。

📚 モデル情報

🚀 クイックスタート

基礎的な使用法

# コード例はそのまま保持
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"

model = AutoModelForCausalLM.from_pretrained("ilsp/Llama-Krikri-8B-Base")
tokenizer = AutoTokenizer.from_pretrained("ilsp/Llama-Krikri-8B-Base")

model.to(device)

input_text = tokenizer("Ένα κρικρί διαφέρει απο ένα λάμα επειδή", return_tensors='pt').to(device)
outputs = model.generate(input_text['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])

高度な使用法

vLLMを使用したOpenAI互換サーバーでの使用

vllm serve ilsp/Llama-Krikri-8B-Base \
  --enforce-eager \
  --dtype 'bfloat16' \
  --api-key token-abc123

次に、Pythonを使用してモデルを使用することができます。

from openai import OpenAI

api_key = "token-abc123"
base_url = "http://localhost:8000/v1"

client = OpenAI(
    api_key=api_key,
    base_url=base_url,
)

response = client.completions.create(model="ilsp/Llama-Krikri-8B-Base",
                                     prompt="Η εκπαίδευση μεγάλων γλωσσικών μοντέλων περιλαμβάνει")
print(response.choices[0].text)

📈 評価

以下に、Llama-Krikri-8B-BaseがLlama-3.1-8Bに対してギリシャ語と英語で改善した点を報告します。

• ギリシャ語のベンチマークでは +10.8%
• 英語のベンチマークでは +0.8%

Llama-Krikri-8B-Base、Llama-3.1-8B、およびMeltemi 7B v1.5の評価は、Open LLM leaderboardの設定と一致するフェデレーションラーニングの設定で行われました。

ギリシャ語のベンチマーク

ギリシャ語用に作成した評価セットには6つのテストセットが含まれています。このセットは、このlightevalフォークをクローンすることで実行できます。

評価セットには以下が含まれています。

• 確立された英語の言語理解と推論のベンチマーク（ARC Challenge、Truthful QA、Hellaswag、MMLU）の4つの機械翻訳バージョン（ARC Greek、Truthful QA Greek、HellaSwag Greek、MMLU Greek）
• 既存のギリシャ語の質問応答ベンチマーク（Belebele）
• ILSPチームによって作成された、DOATAPの医療試験に基づく医療質問応答の新しいベンチマーク（Medical MCQA）

継続的な事前学習方法により、すべてのギリシャ語テストセットでのパフォーマンスがベースモデルに比べて平均 +10.8% 向上していることがわかります。ギリシャ語テストセットの結果は以下の表に示されています。

英語のベンチマーク

学習方法は、災害的忘却を効果的に軽減するだけでなく、すべての英語テストセットでの平均パフォーマンスを +0.8% 向上させていることもわかります。英語テストセットの結果は以下の表に示されています。

すべての評価は最新バージョンのlightevalで実行されており、過去のバージョンとは若干異なるため、Meltemi-7B-v1.5のスコアが異なって報告されています。

⚠️ 倫理的な考慮事項

このモデルは人間の好みに合わせて調整されていないため、誤解を招く、有害な、有毒なコンテンツを生成する可能性があります。

🙏 謝辞

ILSPチームは、OCRE Cloudフレームワークの下でGRNETを通じて提供されたAmazonのクラウドコンピューティングサービスを利用しています。これにより、ギリシャの学術および研究コミュニティにAmazon Web Servicesが提供されています。

📄 ライセンス

このモデルはllama3.1ライセンスの下で提供されています。