Llama 3.2 Korean Bllossom 3B

🚀 Bllossom

Bllossom团队公开了Bllossom-3B模型，该模型将不支持韩语的基础模型强化为韩语 - 英语双语模型，在韩语处理能力上有显著提升，同时完全不损伤英语性能。

🚀 快速开始

安装依赖

使用该模型前，你需要安装transformers库，可使用以下命令进行安装：

pip install transformers

代码示例

以下是使用Bllossom-3B模型的Python代码示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
instruction = "철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?"

messages = [
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.convert_tokens_to_ids("<|end_of_text|>"),
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

代码解释

上述代码通过transformers库加载Bllossom-3B模型和对应的分词器，然后构造一个输入指令，将其转换为模型可接受的输入格式，最后生成输出并打印结果。

✨ 主要特性

• 语言强化：基于llama3.2-3B基础模型，通过100%全量微调，使用150GB的精制韩语数据进行额外预训练，将不支持韩语的基础模型强化为韩语 - 英语双语模型。
• 精制调优：进行了非常精细的指令调优（Instruction Tuning）。
• 双语无损：是一个完全的双语模型，在提升韩语性能的同时，完全不损伤英语性能。
• 开放调优：仅进行了指令调优，你可以使用DPO等方法进一步提升模型性能。
• 无针对性学习：在训练过程中，没有为了在MT - Bench、LogicKor等基准测试中获得高分而使用标准答案数据或针对这些基准进行针对性学习。
• 商业可用：该模型可用于商业用途。
• 学术认可：Bllossom已在AAAI2024、NAACL2024、LREC - COLING2024（口头）会议上发表。

📦 安装指南

要使用Bllossom-3B模型，你需要安装transformers库，可使用以下命令进行安装：

pip install transformers

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
instruction = "철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?"

messages = [
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.convert_tokens_to_ids("<|end_of_text|>"),
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

高级用法

你可以根据具体需求调整模型生成的参数，例如max_new_tokens、temperature、top_p等，以获得不同风格和长度的输出。

# 调整参数示例
outputs = model.generate(
    input_ids,
    max_new_tokens=2048,  # 增加最大生成长度
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.8,  # 调整温度参数，使输出更具随机性
    top_p=0.95  # 调整top-p采样参数
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

📚 详细文档

模型信息

更新日志

• [2024.12.06] 已更新为更强大的最新Bllossom - AICA - 5B 链接
• [2024.10.08] Bllossom - 3B模型首次更新。

📄 许可证

本模型使用llama3.2许可证。

🔗 相关链接

• Demo
• 主页
• Github

👥 支持机构

• AICA

📚 引用信息

语言模型

@misc{bllossom,
  author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
  title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
  year = {2024},
  journal = {LREC-COLING 2024},
  paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
 },
}

视觉 - 语言模型

@misc{bllossom-V,
  author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
  title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},
  year = {2024},
  publisher = {GitHub},
  journal = {NAACL 2024 findings},
  paperLink = {\url{https://arxiv.org/pdf/2403.11399}},
 },
}

📞 联系方式

• 임경태(KyungTae Lim)，首尔科技大学教授。ktlim@seoultech.ac.kr
• 함영균(Younggyun Hahm)，Teddysum公司首席执行官。hahmyg@teddysum.ai
• 김한샘(Hansaem Kim)，延世大学教授。khss@yonsei.ac.kr

👨‍💻 贡献者

• 유한결(Hangyeol Yoo)，hgyoo@seoultech.ac.kr
• 최창수(Chansu Choi)，choics2623@seoultech.ac.kr