Llama 3.2 Rabbit Ko 3B Instruct

🚀 胡萝卜Llama-3.2 Rabbit Ko模型

胡萝卜Llama-3.2 Rabbit Ko是一款经过指令微调的大语言模型，支持韩语和英语，在文本生成任务中表现出色。

🚀 快速开始

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")

✨ 主要特性

模型详情

训练过程

本模型经过了以下主要训练步骤：

1. SFT（有监督微调）
   • 使用高质量的韩语和英语数据集对基础模型进行微调。

局限性

• 由于3B参数规模，在复杂任务中的性能有限。
• 缺乏特定领域的深度专业知识。
• 存在偏差和幻觉的可能性。

伦理声明

在模型开发过程中，我们已尽可能考虑伦理因素，但用户仍需始终批判性地审查模型输出结果。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct")

📚 详细文档

评分

| 任务 | 版本 | 过滤方式 | n-shot | 指标 | 值 | 标准误差 | |-----|------:|----------------|-----:|-----------|---|-----:|---|-----:| | gsm8k | 3 | flexible-extract | 5 | exact_match | ↑ | 0.6490 | ± | 0.0131 | | | | strict-match | 5 | exact_match | ↑ | 0.0023 | ± | 0.0013 | | gsm8k-ko | 3 | flexible-extract | 5 | exact_match | ↑ | 0.3275 | ± | 0.0134 | | | | strict-match | 5 | exact_match | ↑ | 0.2737 | ± | 0.0134 | | ifeval | 4 | none | 5 | inst_level_loose_acc | ↑ | 0.8058 | ± | N/A | | | | none | 5 | inst_level_strict_acc | ↑ | 0.7686 | ± | N/A | | | | none | 5 | prompt_level_loose_acc | ↑ | 0.7320 | ± | 0.0191 | | | | none | 5 | prompt_level_strict_acc | ↑ | 0.6858 | ± | 0.0200 |

| 任务 | 版本 | 过滤方式 | n-shot | 指标 | 值 | 标准误差 | |-------------------------------|------:|------|-----:|--------|---|-----:|---|-----:| | haerae | 1 | none | | acc | ↑ | 0.4180 | ± | 0.0148 | | | | none | | acc_norm | ↑ | 0.4180 | ± | 0.0148 | | - haerae_general_knowledge | 1 | none | 5 | acc | ↑ | 0.3125 | ± | 0.0350 | | | | none | 5 | acc_norm | ↑ | 0.3125 | ± | 0.0350 | | - haerae_history | 1 | none | 5 | acc | ↑ | 0.3404 | ± | 0.0347 | | | | none | 5 | acc_norm | ↑ | 0.3404 | ± | 0.0347 | | - haerae_loan_word | 1 | none | 5 | acc | ↑ | 0.4083 | ± | 0.0379 | | | | none | 5 | acc_norm | ↑ | 0.4083 | ± | 0.0379 | | - haerae_rare_word | 1 | none | 5 | acc | ↑ | 0.4815 | ± | 0.0249 | | | | none | 5 | acc_norm | ↑ | 0.4815 | ± | 0.0249 | | - haerae_standard_nomenclature | 1 | none | 5 | acc | ↑ | 0.4771 | ± | 0.0405 | | | | none | 5 | acc_norm | ↑ | 0.4771 | ± | 0.0405 |

| 任务 | 版本 | 过滤方式 | n-shot | 指标 | 值 | 标准误差 | |----------------|------:|------|-----:|--------|---|-----:|---|------| | kobest_boolq | 1 | none | 5 | acc | ↑ | 0.7664 | ± | 0.0113 | | | | none | 5 | f1 | ↑ | 0.7662 | ± | N/A | | kobest_copa | 1 | none | 5 | acc | ↑ | 0.5620 | ± | 0.0157 | | | | none | 5 | f1 | ↑ | 0.5612 | ± | N/A | | kobest_hellaswag | 1 | none | 5 | acc | ↑ | 0.3840 | ± | 0.0218 | | | | none | 5 | acc_norm | ↑ | 0.4900 | ± | 0.0224 | | | | none | 5 | f1 | ↑ | 0.3807 | ± | N/A | | kobest_sentineg | 1 | none | 5 | acc | ↑ | 0.5869 | ± | 0.0247 | | | | none | 5 | f1 | ↑ | 0.5545 | ± | N/A | | kobest_wic | 1 | none | 5 | acc | ↑ | 0.4952 | ± | 0.0141 | | | | none | 5 | f1 | ↑ | 0.4000 | ± | N/A |

📄 许可证

本模型使用的许可证为llama3.2。

数据集

• CarrotAI/Magpie-Ko-Pro-AIR
• CarrotAI/Carrot
• CarrotAI/ko-instruction-dataset

基础模型

• meta-llama/Llama-3.2-3B-Instruct

新版本

CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412