Llama 3.2 Rabbit Ko 3B Instruct

🚀 胡蘿蔔Llama-3.2 Rabbit Ko模型

胡蘿蔔Llama-3.2 Rabbit Ko是一款經過指令微調的大語言模型，支持韓語和英語，在文本生成任務中表現出色。

🚀 快速開始

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")

✨ 主要特性

模型詳情

訓練過程

本模型經過了以下主要訓練步驟：

1. SFT（有監督微調）
   • 使用高質量的韓語和英語數據集對基礎模型進行微調。

侷限性

• 由於3B參數規模，在複雜任務中的性能有限。
• 缺乏特定領域的深度專業知識。
• 存在偏差和幻覺的可能性。

倫理聲明

在模型開發過程中，我們已儘可能考慮倫理因素，但用戶仍需始終批判性地審查模型輸出結果。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")

📚 詳細文檔

評分

| 任務 | 版本 | 過濾方式 | n-shot | 指標 | 值 | 標準誤差 | |-----|------:|----------------|-----:|-----------|---|-----:|---|-----:| | gsm8k | 3 | flexible-extract | 5 | exact_match | ↑ | 0.6490 | ± | 0.0131 | | | | strict-match | 5 | exact_match | ↑ | 0.0023 | ± | 0.0013 | | gsm8k-ko | 3 | flexible-extract | 5 | exact_match | ↑ | 0.3275 | ± | 0.0134 | | | | strict-match | 5 | exact_match | ↑ | 0.2737 | ± | 0.0134 | | ifeval | 4 | none | 5 | inst_level_loose_acc | ↑ | 0.8058 | ± | N/A | | | | none | 5 | inst_level_strict_acc | ↑ | 0.7686 | ± | N/A | | | | none | 5 | prompt_level_loose_acc | ↑ | 0.7320 | ± | 0.0191 | | | | none | 5 | prompt_level_strict_acc | ↑ | 0.6858 | ± | 0.0200 |

| 任務 | 版本 | 過濾方式 | n-shot | 指標 | 值 | 標準誤差 | |-------------------------------|------:|------|-----:|--------|---|-----:|---|-----:| | haerae | 1 | none | | acc | ↑ | 0.4180 | ± | 0.0148 | | | | none | | acc_norm | ↑ | 0.4180 | ± | 0.0148 | | - haerae_general_knowledge | 1 | none | 5 | acc | ↑ | 0.3125 | ± | 0.0350 | | | | none | 5 | acc_norm | ↑ | 0.3125 | ± | 0.0350 | | - haerae_history | 1 | none | 5 | acc | ↑ | 0.3404 | ± | 0.0347 | | | | none | 5 | acc_norm | ↑ | 0.3404 | ± | 0.0347 | | - haerae_loan_word | 1 | none | 5 | acc | ↑ | 0.4083 | ± | 0.0379 | | | | none | 5 | acc_norm | ↑ | 0.4083 | ± | 0.0379 | | - haerae_rare_word | 1 | none | 5 | acc | ↑ | 0.4815 | ± | 0.0249 | | | | none | 5 | acc_norm | ↑ | 0.4815 | ± | 0.0249 | | - haerae_standard_nomenclature | 1 | none | 5 | acc | ↑ | 0.4771 | ± | 0.0405 | | | | none | 5 | acc_norm | ↑ | 0.4771 | ± | 0.0405 |

| 任務 | 版本 | 過濾方式 | n-shot | 指標 | 值 | 標準誤差 | |----------------|------:|------|-----:|--------|---|-----:|---|------| | kobest_boolq | 1 | none | 5 | acc | ↑ | 0.7664 | ± | 0.0113 | | | | none | 5 | f1 | ↑ | 0.7662 | ± | N/A | | kobest_copa | 1 | none | 5 | acc | ↑ | 0.5620 | ± | 0.0157 | | | | none | 5 | f1 | ↑ | 0.5612 | ± | N/A | | kobest_hellaswag | 1 | none | 5 | acc | ↑ | 0.3840 | ± | 0.0218 | | | | none | 5 | acc_norm | ↑ | 0.4900 | ± | 0.0224 | | | | none | 5 | f1 | ↑ | 0.3807 | ± | N/A | | kobest_sentineg | 1 | none | 5 | acc | ↑ | 0.5869 | ± | 0.0247 | | | | none | 5 | f1 | ↑ | 0.5545 | ± | N/A | | kobest_wic | 1 | none | 5 | acc | ↑ | 0.4952 | ± | 0.0141 | | | | none | 5 | f1 | ↑ | 0.4000 | ± | N/A |

📄 許可證

本模型使用的許可證為llama3.2。

數據集

• CarrotAI/Magpie-Ko-Pro-AIR
• CarrotAI/Carrot
• CarrotAI/ko-instruction-dataset

基礎模型

• meta-llama/Llama-3.2-3B-Instruct

新版本

CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412