Llama 3 Korean Bllossom 70B
基于Llama3的韩英双语增强模型,通过词汇扩展和知识关联优化韩语能力
下载量 300
发布时间 : 5/8/2024
模型简介
Bllossom是首尔科技大学等机构联合开发的韩英双语大语言模型,通过词汇扩展、知识关联训练和韩语文化适配指令微调,显著提升了韩语处理能力
模型特点
韩语词汇扩展
扩展了3万+韩语词汇量,显著提升韩语表达能力
知识关联训练
通过韩英平行语料库建立双语知识链接
文化适配指令
采用语言学家定制的韩语文化适配数据进行微调
上下文长度优化
相比原版Llama3处理韩语上下文长度提升约25%
模型能力
韩英双语文本生成
韩语问答
知识关联推理
文化适配响应
使用案例
教育
韩语学习助手
帮助非韩语母语者学习韩语
提供文化适配的语言解释
商业
双语客服机器人
处理韩英双语客户咨询
准确理解并回应文化相关查询
🚀 Bllossom
Bllossom是一个韩语 - 英语双语语言模型,基于开源的LLama3构建。它加强了韩语和英语之间的知识联系,在韩语处理上表现出色,为用户提供了强大且实用的语言交互能力。
🚀 快速开始
安装依赖
pip install torch transformers==4.40.0 accelerate
Python代码(使用Pipeline)
import transformers
import torch
model_id = "Bllossom/llama-3-Korean-Bllossom-70B"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
pipeline.model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"
messages = [
{"role": "system", "content": f"{PROMPT}"},
{"role": "user", "content": f"{instruction}"}
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=2048,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.
Python代码(使用AutoModel)
import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'Bllossom/llama-3-Korean-Bllossom-70B'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"
messages = [
{"role": "system", "content": f"{PROMPT}"},
{"role": "user", "content": f"{instruction}"}
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
terminators = [
tokenizer.eos_token_id,
tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = model.generate(
input_ids,
max_new_tokens=2048,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9
)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.
✨ 主要特性
- 知识链接:通过额外训练,将韩语和英语知识进行链接。
- 词汇扩展:扩展韩语词汇,增强韩语表达能力。
- 指令微调:使用专门为韩语和韩国文化定制的指令跟随数据进行微调。
- 人工反馈:应用了DPO(直接偏好优化)。
- 视觉 - 语言对齐:将视觉变换器与该语言模型进行对齐。
📦 安装指南
pip install torch transformers==4.40.0 accelerate
💻 使用示例
基础用法
import transformers
import torch
model_id = "Bllossom/llama-3-Korean-Bllossom-70B"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
pipeline.model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"
messages = [
{"role": "system", "content": f"{PROMPT}"},
{"role": "user", "content": f"{instruction}"}
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=2048,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.
高级用法
import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'Bllossom/llama-3-Korean-Bllossom-70B'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"
messages = [
{"role": "system", "content": f"{PROMPT}"},
{"role": "user", "content": f"{instruction}"}
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
terminators = [
tokenizer.eos_token_id,
tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = model.generate(
input_ids,
max_new_tokens=2048,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9
)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.
📚 详细文档
- 模型更新日志
- [2024.08.30] 预训练量增加到250GB的Bllossom ELO模型更新,但未进行单词扩展。若想使用原单词扩展的长上下文模型,请单独联系。
- [2024.05.08] 词汇扩展模型更新
- [2024.04.25] 发布基于llama - 3的Bllossom v2.0
- [2023/12] 发布基于Bllossom的Bllossom - Vision v1.0
- [2023/08] 发布基于llama - 2的Bllossom v1.0
- [2023/07] 发布基于polyglot - ko的Bllossom v0.7
- 模型介绍
- Bllossom-70.8B是与首尔科技大学、泰迪森、延世大学语言资源研究室的语言学家合作开发的实用主义语言模型,后续将持续更新和维护。
- 拥有超强的Advanced - Bllossom 8B、70B模型以及视觉 - 语言模型(如有疑问请单独联系)。
- Bllossom已被NAACL2024、LREC - COLING2024(口头)会议录用。
- 会持续更新优质语言模型,欢迎共同研究韩语强化相关内容(特别是论文合作),尤其是有少量GPU可供租赁的团队,随时欢迎联系。
📄 许可证
该模型的许可证为llama3。
📖 引用
语言模型
@misc{bllossom,
author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
year = {2024},
journal = {LREC-COLING 2024},
paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
},
}
视觉 - 语言模型
@misc{bllossom-V,
author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},
year = {2024},
publisher = {GitHub},
journal = {NAACL 2024 findings},
paperLink = {\url{https://arxiv.org/pdf/2403.11399}},
},
}
📞 联系信息
- 林庆泰(KyungTae Lim),首尔科技大学教授,邮箱:
ktlim@seoultech.ac.kr
- 咸英均(Younggyun Hahm),泰迪森首席执行官,邮箱:
hahmyg@teddysum.ai
- 金韩샘(Hansaem Kim),延世大学教授,邮箱:
khss@yonsei.ac.kr
👥 贡献者
- 崔昌秀(Chansu Choi),邮箱:choics2623@seoultech.ac.kr
- 金相敏(Sangmin Kim),邮箱:sangmin9708@naver.com
- 元仁镐(Inho Won),邮箱:wih1226@seoultech.ac.kr
- 金民俊(Minjun Kim),邮箱:mjkmain@seoultech.ac.kr
- 宋承佑(Seungwoo Song),邮箱:sswoo@seoultech.ac.kr
- 申东宰(Dongjae Shin),邮箱:dylan1998@seoultech.ac.kr
- 林贤锡(Hyeonseok Lim),邮箱:gustjrantk@seoultech.ac.kr
- 柳正勋(Jeonghun Yuk),邮箱:usually670@gmail.com
- 柳韩烈(Hangyeol Yoo),邮箱:21102372@seoultech.ac.kr
- 宋瑞贤(Seohyun Song),邮箱:alexalex225225@gmail.com
🌟 支持机构
- AICA
🎥 演示视频

Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98