Synatra 7B V0.3 RP

🚀 Synatra-7B-v0.3-RP🐧

Synatra-7B-v0.3-RPは、テキスト生成に特化したモデルです。このモデルは、特定のベースモデルを基に訓練され、独自の特徴を持っています。

🚀 クイックスタート

Synatraは個人プロジェクトとして、1人の開発者によって開発されています。もしこのモデルが気に入ったら、少しの研究費支援を検討してみませんか？

スポンサーになりたい場合は、Telegramで AlzarTakkarsen までご連絡ください。

📄 ライセンス

このモデルは、厳密に非商用（cc-by-nc-4.0）の使用のみが許可されています。 「モデル」は、非商用目的であれば完全に無料で使用できます（ベースモデル、派生モデル、マージ/ミックスなど）。ただし、親リポジトリに含まれるcc-by-nc-4.0ライセンスを遵守し、非商用使用の規定が維持される限り、他のモデルのライセンスに関係なく使用できます。 新しいモデルがリリースされた後、ライセンスは変更される可能性があります。商用目的でこのモデルを使用する場合は、開発者にご連絡ください。

📚 ドキュメント

モデルの詳細

今後の予定

• RP 기반 튜닝 모델 제작 ✅
• 데이터셋 정제 ✅
• 言語理解能力の改善
• 상식 보완 ✅
• トークナイザーの変更

モデルベンチマーク

Ko-LLM-Leaderboard

現在ベンチマークテスト中です。

実装コード

チャットテンプレートには上記の命令フォーマットがすでに含まれているため、以下のコードを使用できます。

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("maywell/Synatra-7B-v0.3-RP")
tokenizer = AutoTokenizer.from_pretrained("maywell/Synatra-7B-v0.3-RP")

messages = [
    {"role": "user", "content": "바나나는 원래 하얀색이야?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

なぜベンチマークスコアが前のバージョンより低いのか？

明らかに、プレビューモデルは接頭辞のないAlpaca Styleのプロンプトを使用していますが、ChatMLは接頭辞を持っています。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。