Llama 3 Korean Bllossom 70B
Llama3ベースの韓英バイリンガル強化モデル、語彙拡張と知識関連最適化により韓国語能力を向上
ダウンロード数 300
リリース時間 : 5/8/2024
モデル概要
Bllossomはソウル科学技術大学などの機関が共同開発した韓英バイリンガル大規模言語モデルで、語彙拡張、知識関連トレーニング、韓国語文化適応命令ファインチューニングにより、韓国語処理能力を大幅に向上
モデル特徴
韓国語語彙拡張
3万以上の韓国語語彙を拡張し、韓国語表現能力を大幅に向上
知識関連トレーニング
韓英並列コーパスを通じてバイリンガル知識リンクを構築
文化適応命令
言語学者がカスタマイズした韓国語文化適応データを使用してファインチューニング
コンテキスト長最適化
オリジナルLlama3と比較して韓国語コンテキスト長を約25%向上
モデル能力
韓英バイリンガルテキスト生成
韓国語質問応答
知識関連推論
文化適応応答
使用事例
教育
韓国語学習アシスタント
非韓国語ネイティブが韓国語を学ぶのを支援
文化適応した言語説明を提供
ビジネス
バイリンガルカスタマーサービスロボット
韓英バイリンガルの顧客相談を処理
文化関連のクエリを正確に理解し応答
🚀 Bllossom
Bllossomは、オープンソースのLLama3をベースにした韓国語 - 英語のバイリンガル言語モデルです。韓国語と英語の知識のつながりを強化し、様々な機能を備えています。

✨ 主な機能
- 知識のリンク:追加のトレーニングを通じて、韓国語と英語の知識をリンクさせます。
- 語彙の拡張:韓国語の語彙を拡張し、韓国語の表現力を向上させます。
- 命令の微調整:韓国語と韓国文化に特化したカスタム命令データを使用して微調整します。
- 人間のフィードバック:DPOを適用しています。
- ビジョン - 言語のアライメント:ビジョントランスフォーマーをこの言語モデルとアライメントさせます。
📦 インストール
依存関係のインストール
pip install torch transformers==4.40.0 accelerate
💻 使用例
基本的な使用法
import transformers
import torch
model_id = "Bllossom/llama-3-Korean-Bllossom-70B"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
pipeline.model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"
messages = [
{"role": "system", "content": f"{PROMPT}"},
{"role": "user", "content": f"{instruction}"}
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=2048,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.
高度な使用法
import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'Bllossom/llama-3-Korean-Bllossom-70B'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
model.eval()
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "서울과학기술대학교 MLP연구실에 대해 소개해줘"
messages = [
{"role": "system", "content": f"{PROMPT}"},
{"role": "user", "content": f"{instruction}"}
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
terminators = [
tokenizer.eos_token_id,
tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = model.generate(
input_ids,
max_new_tokens=2048,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9
)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
# 서울과학기술대학교 MLP연구실은 멀티모달 자연어처리 연구를 하고 있습니다. 구성원은 임경태 교수와 김민준, 김상민, 최창수, 원인호, 유한결, 임현석, 송승우, 육정훈, 신동재 학생이 있습니다.
📚 ドキュメント
NEWS
- [2024.08.30] 事前学習量を250GBまで増やしたBllossom ELOモデルに更新されました。ただし、単語拡張は行っていません。既存の単語拡張されたlong-contextモデルを利用したい方は、個別に連絡してください!
- [2024.05.08] Vocab Expansion Model Update
- [2024.04.25] llama-3をベースにしたBllossom v2.0をリリースしました。
- [2023/12] BllossomをベースにしたBllossom-Vision v1.0をリリースしました。
- [2023/08] llama-2をベースにしたBllossom v1.0をリリースしました。
- [2023/07] polyglot-koをベースにしたBllossom v0.7をリリースしました。
概要
저희Bllossomプロジェクトチームでは、韓国語 - 英語のバイリンガル言語モデルであるBllossom-70.8Bを公開しました! ソウル科学技術大学のスーパーコンピューティングセンターの支援を受けて、100GBを超える韓国語でモデル全体をフルチューニングした韓国語強化のバイリンガルモデルです! 韓国語が得意なモデルを探していませんか?
- 韓国語初!なんと3万語を超える韓国語語彙拡張
- Llama3に比べて約25%長い韓国語のコンテキスト処理が可能
- 韓国語 - 英語のPararell Corpusを利用した韓国語 - 英語の知識接続(事前学習)
- 韓国語文化や言語を考慮して言語学者が作成したデータを利用した微調整
- 強化学習 これらすべてが一度に適用され、商用利用が可能なBllossomを使って、あなただけのモデルを作ってみませんか! GPUが不足している場合は、量子化モデルですぐにサービスを利用してみてください 量子化モデル!!
- Bllossom-70.8Bは、ソウル科学技術大学、テディサム、延世大学の言語資源研究室の言語学者と協力して作成された実用主義ベースの言語モデルです!これからも継続的な更新を通じて管理しますので、ぜひ多く利用してください🙂
- 超強力なAdvanced-Bllossom 8B、70Bモデル、ビジョン - 言語モデルを保有しています!(詳細を知りたい方は個別に連絡してください!!)
- Bllossomは、NAACL2024、LREC-COLING2024(口頭)発表に採択されました。
- 良い言語モデルを継続的に更新します!!韓国語強化のために共同研究してくれる方(特に論文)はいつでも歓迎します!! 特に少量のGPUでもレンタル可能なチームはいつでも連絡してください!作りたいことをお手伝いします。
デモビデオ
コラボチュートリアル
サポート
- AICA
引用
言語モデル
@misc{bllossom,
author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
year = {2024},
journal = {LREC-COLING 2024},
paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
},
}
ビジョン - 言語モデル
@misc{bllossom-V,
author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},
year = {2024},
publisher = {GitHub},
journal = {NAACL 2024 findings},
paperLink = {\url{https://arxiv.org/pdf/2403.11399}},
},
}
連絡先
- キム・ギョンタエ(KyungTae Lim)、ソウル科学技術大学の教授。
ktlim@seoultech.ac.kr
- ハム・ヨンギュン(Younggyun Hahm)、テディサムのCEO。
hahmyg@teddysum.ai
- キム・ハンセム(Hansaem Kim)、延世大学の教授。
khss@yonsei.ac.kr
貢献者
- チェ・チャンス(Chansu Choi)、choics2623@seoultech.ac.kr
- キム・サンミン(Sangmin Kim)、sangmin9708@naver.com
- ウォン・インホ(Inho Won)、wih1226@seoultech.ac.kr
- キム・ミンジュン(Minjun Kim)、mjkmain@seoultech.ac.kr
- ソン・スンウ(Seungwoo Song)、sswoo@seoultech.ac.kr
- シン・ドンジェ(Dongjae Shin)、dylan1998@seoultech.ac.kr
- イム・ヒョンソク(Hyeonseok Lim)、gustjrantk@seoultech.ac.kr
- ユク・ジョンフン(Jeonghun Yuk)、usually670@gmail.com
- ユ・ハンギョル(Hangyeol Yoo)、21102372@seoultech.ac.kr
- ソン・ソヒョン(Seohyun Song)、alexalex225225@gmail.com
📄 ライセンス
このモデルは、llama3ライセンスの下で提供されています。
属性 | 详情 |
---|---|
ベースモデル | meta-llama/Meta-Llama-3-70B |
言語 | en、ko |
ライブラリ名 | transformers |
ライセンス | llama3 |
Phi 2 GGUF
その他
Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。
大規模言語モデル 複数言語対応
P
TheBloke
41.5M
205
Roberta Large
MIT
マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。
大規模言語モデル 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。
大規模言語モデル 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。
大規模言語モデル 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。
大規模言語モデル 複数言語対応
X
FacebookAI
9.6M
664
Roberta Base
MIT
Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。
大規模言語モデル 英語
R
FacebookAI
9.3M
488
Opt 125m
その他
OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。
大規模言語モデル 英語
O
facebook
6.3M
198
1
transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能
大規模言語モデル
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。
大規模言語モデル
Transformers 複数言語対応

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。
大規模言語モデル 複数言語対応
T
google-t5
5.4M
702
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98