🚀 Carrot Llama-3.2 Rabbit Ko
このモデルは大規模言語モデルで、韓国語と英語に対応し、特定の訓練を経て構築されています。
🚀 クイックスタート
このモデルを使用するには、以下のコードを参考にしてください。
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
✨ 主な機能
モデルの詳細
- 名称: Carrot Llama-3.2 Rabbit Ko
- バージョン: 3B Instruct
- ベースモデル: CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct
- 言語: 韓国語、英語
- モデルタイプ: 大規模言語モデル(命令調整済み)
訓練プロセス
このモデルは以下の主要な訓練ステップを経ています:
- SFT (Supervised Fine-Tuning)
- 高品質の韓国語および英語のデータセットを使用して、ベースモデルを微調整しました。
制限事項
- 3Bパラメータ規模による複雑なタスクでの制限的な性能
- 特定のドメインに対する深い専門性の欠如
- 偏りや幻想の可能性
倫理声明
モデルの開発過程では倫理的な考慮事項を最大限に反映しましたが、ユーザーは常に結果を批判的に検討する必要があります。
💻 使用例
基本的な使用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
📚 ドキュメント
スコア
タスク |
バージョン |
フィルター |
n-shot |
評価指標 |
値 |
標準誤差 |
gsm8k |
3 |
flexible-extract |
5 |
exact_match |
0.6490 |
0.0131 |
|
|
strict-match |
5 |
exact_match |
0.0023 |
0.0013 |
gsm8k-ko |
3 |
flexible-extract |
5 |
exact_match |
0.3275 |
0.0134 |
|
|
strict-match |
5 |
exact_match |
0.2737 |
0.0134 |
ifeval |
4 |
none |
5 |
inst_level_loose_acc |
0.8058 |
N/A |
|
|
none |
5 |
inst_level_strict_acc |
0.7686 |
N/A |
|
|
none |
5 |
prompt_level_loose_acc |
0.7320 |
0.0191 |
|
|
none |
5 |
prompt_level_strict_acc |
0.6858 |
0.0200 |
haerae |
1 |
none |
|
acc |
0.4180 |
0.0148 |
|
|
none |
|
acc_norm |
0.4180 |
0.0148 |
- haerae_general_knowledge |
1 |
none |
5 |
acc |
0.3125 |
0.0350 |
|
|
none |
5 |
acc_norm |
0.3125 |
0.0350 |
- haerae_history |
1 |
none |
5 |
acc |
0.3404 |
0.0347 |
|
|
none |
5 |
acc_norm |
0.3404 |
0.0347 |
- haerae_loan_word |
1 |
none |
5 |
acc |
0.4083 |
0.0379 |
|
|
none |
5 |
acc_norm |
0.4083 |
0.0379 |
- haerae_rare_word |
1 |
none |
5 |
acc |
0.4815 |
0.0249 |
|
|
none |
5 |
acc_norm |
0.4815 |
0.0249 |
- haerae_standard_nomenclature |
1 |
none |
5 |
acc |
0.4771 |
0.0405 |
|
|
none |
5 |
acc_norm |
0.4771 |
0.0405 |
kobest_boolq |
1 |
none |
5 |
acc |
0.7664 |
0.0113 |
|
|
none |
5 |
f1 |
0.7662 |
N/A |
kobest_copa |
1 |
none |
5 |
acc |
0.5620 |
0.0157 |
|
|
none |
5 |
f1 |
0.5612 |
N/A |
kobest_hellaswag |
1 |
none |
5 |
acc |
0.3840 |
0.0218 |
|
|
none |
5 |
acc_norm |
0.4900 |
0.0224 |
|
|
none |
5 |
f1 |
0.3807 |
N/A |
kobest_sentineg |
1 |
none |
5 |
acc |
0.5869 |
0.0247 |
|
|
none |
5 |
f1 |
0.5545 |
N/A |
kobest_wic |
1 |
none |
5 |
acc |
0.4952 |
0.0141 |
|
|
none |
5 |
f1 |
0.4000 |
N/A |
📄 ライセンス
このモデルのライセンスはllama3.2です。
