Llama 3 Korean Bllossom 70B

🚀 Bllossom

Bllossom是一个韩语 - 英语双语语言模型，基于开源的LLama3构建。它加强了韩语和英语之间的知识联系，在韩语处理上表现出色，为用户提供了强大且实用的语言交互能力。

🚀 快速开始

安装依赖

pip install torch transformers==4.40.0 accelerate

Python代码（使用Pipeline）

import transformers
import torch

model_id = "Bllossom/llama-3-Korean-Bllossom-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

pipeline.model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
    ]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.

Python代码（使用AutoModel）

import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3-Korean-Bllossom-70B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

model.eval()

PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.

✨ 主要特性

• 知识链接：通过额外训练，将韩语和英语知识进行链接。
• 词汇扩展：扩展韩语词汇，增强韩语表达能力。
• 指令微调：使用专门为韩语和韩国文化定制的指令跟随数据进行微调。
• 人工反馈：应用了DPO（直接偏好优化）。
• 视觉 - 语言对齐：将视觉变换器与该语言模型进行对齐。

📦 安装指南

pip install torch transformers==4.40.0 accelerate

💻 使用示例

基础用法

import transformers
import torch

model_id = "Bllossom/llama-3-Korean-Bllossom-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

pipeline.model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
    ]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.

高级用法

import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3-Korean-Bllossom-70B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

model.eval()

PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.

📚 详细文档

• 模型更新日志
  • [2024.08.30] 预训练量增加到250GB的Bllossom ELO模型更新，但未进行单词扩展。若想使用原单词扩展的长上下文模型，请单独联系。
  • [2024.05.08] 词汇扩展模型更新
  • [2024.04.25] 发布基于llama - 3的Bllossom v2.0
  • [2023/12] 发布基于Bllossom的Bllossom - Vision v1.0
  • [2023/08] 发布基于llama - 2的Bllossom v1.0
  • [2023/07] 发布基于polyglot - ko的Bllossom v0.7
• 模型介绍
  • Bllossom-70.8B是与首尔科技大学、泰迪森、延世大学语言资源研究室的语言学家合作开发的实用主义语言模型，后续将持续更新和维护。
  • 拥有超强的Advanced - Bllossom 8B、70B模型以及视觉 - 语言模型（如有疑问请单独联系）。
  • Bllossom已被NAACL2024、LREC - COLING2024（口头）会议录用。
  • 会持续更新优质语言模型，欢迎共同研究韩语强化相关内容（特别是论文合作），尤其是有少量GPU可供租赁的团队，随时欢迎联系。

📄 许可证

该模型的许可证为llama3。

📖 引用

语言模型

@misc{bllossom,
  author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
  title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
  year = {2024},
  journal = {LREC-COLING 2024},
  paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
 },
}

视觉 - 语言模型

@misc{bllossom-V,
  author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
  title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},
  year = {2024},
  publisher = {GitHub},
  journal = {NAACL 2024 findings},
  paperLink = {\url{https://arxiv.org/pdf/2403.11399}},
 },
}

📞 联系信息

• 林庆泰（KyungTae Lim），首尔科技大学教授，邮箱：ktlim@seoultech.ac.kr
• 咸英均（Younggyun Hahm），泰迪森首席执行官，邮箱：hahmyg@teddysum.ai
• 金韩샘（Hansaem Kim），延世大学教授，邮箱：khss@yonsei.ac.kr

👥 贡献者

• 崔昌秀（Chansu Choi），邮箱：choics2623@seoultech.ac.kr
• 金相敏（Sangmin Kim），邮箱：sangmin9708@naver.com
• 元仁镐（Inho Won），邮箱：wih1226@seoultech.ac.kr
• 金民俊（Minjun Kim），邮箱：mjkmain@seoultech.ac.kr
• 宋承佑（Seungwoo Song），邮箱：sswoo@seoultech.ac.kr
• 申东宰（Dongjae Shin），邮箱：dylan1998@seoultech.ac.kr
• 林贤锡（Hyeonseok Lim），邮箱：gustjrantk@seoultech.ac.kr
• 柳正勋（Jeonghun Yuk），邮箱：usually670@gmail.com
• 柳韩烈（Hangyeol Yoo），邮箱：21102372@seoultech.ac.kr
• 宋瑞贤（Seohyun Song），邮箱：alexalex225225@gmail.com

🌟 支持机构

• AICA

🎥 演示视频

Bllossom - V演示

Bllossom演示（Kakao）

Demo | 主页 | Github | Colab教程