Llama 3.2 Korean Bllossom 3B

🚀 Bllossom

Bllossom團隊公開了Bllossom-3B模型，該模型將不支持韓語的基礎模型強化為韓語 - 英語雙語模型，在韓語處理能力上有顯著提升，同時完全不損傷英語性能。

🚀 快速開始

安裝依賴

使用該模型前，你需要安裝transformers庫，可使用以下命令進行安裝：

pip install transformers

代碼示例

以下是使用Bllossom-3B模型的Python代碼示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
instruction = "철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?"

messages = [
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.convert_tokens_to_ids("<|end_of_text|>"),
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

代碼解釋

上述代碼通過transformers庫加載Bllossom-3B模型和對應的分詞器，然後構造一個輸入指令，將其轉換為模型可接受的輸入格式，最後生成輸出並打印結果。

✨ 主要特性

• 語言強化：基於llama3.2-3B基礎模型，通過100%全量微調，使用150GB的精製韓語數據進行額外預訓練，將不支持韓語的基礎模型強化為韓語 - 英語雙語模型。
• 精製調優：進行了非常精細的指令調優（Instruction Tuning）。
• 雙語無損：是一個完全的雙語模型，在提升韓語性能的同時，完全不損傷英語性能。
• 開放調優：僅進行了指令調優，你可以使用DPO等方法進一步提升模型性能。
• 無針對性學習：在訓練過程中，沒有為了在MT - Bench、LogicKor等基準測試中獲得高分而使用標準答案數據或針對這些基準進行針對性學習。
• 商業可用：該模型可用於商業用途。
• 學術認可：Bllossom已在AAAI2024、NAACL2024、LREC - COLING2024（口頭）會議上發表。

📦 安裝指南

要使用Bllossom-3B模型，你需要安裝transformers庫，可使用以下命令進行安裝：

pip install transformers

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
instruction = "철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?"

messages = [
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.convert_tokens_to_ids("<|end_of_text|>"),
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

高級用法

你可以根據具體需求調整模型生成的參數，例如max_new_tokens、temperature、top_p等，以獲得不同風格和長度的輸出。

# 調整參數示例
outputs = model.generate(
    input_ids,
    max_new_tokens=2048,  # 增加最大生成長度
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.8,  # 調整溫度參數，使輸出更具隨機性
    top_p=0.95  # 調整top-p採樣參數
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

📚 詳細文檔

模型信息

更新日誌

• [2024.12.06] 已更新為更強大的最新Bllossom - AICA - 5B 鏈接
• [2024.10.08] Bllossom - 3B模型首次更新。

📄 許可證

本模型使用llama3.2許可證。

🔗 相關鏈接

• Demo
• 主頁
• Github

👥 支持機構

• AICA

📚 引用信息

語言模型

@misc{bllossom,
  author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
  title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
  year = {2024},
  journal = {LREC-COLING 2024},
  paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
 },
}

視覺 - 語言模型

@misc{bllossom-V,
  author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
  title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},
  year = {2024},
  publisher = {GitHub},
  journal = {NAACL 2024 findings},
  paperLink = {\url{https://arxiv.org/pdf/2403.11399}},
 },
}

📞 聯繫方式

• 임경태(KyungTae Lim)，首爾科技大學教授。ktlim@seoultech.ac.kr
• 함영균(Younggyun Hahm)，Teddysum公司首席執行官。hahmyg@teddysum.ai
• 김한샘(Hansaem Kim)，延世大學教授。khss@yonsei.ac.kr

👨‍💻 貢獻者

• 유한결(Hangyeol Yoo)，hgyoo@seoultech.ac.kr
• 최창수(Chansu Choi)，choics2623@seoultech.ac.kr