Sailor2 L 8B Chat GGUF

🚀 QuantFactory/Sailor2-L-8B-Chat-GGUF

このモデルは、llama.cppを使用して作成されたsail/Sailor2-L-8B-Chatの量子化バージョンです。

🚀 クイックスタート

ここでは、トークナイザーとモデルをロードし、内容を生成する方法を示すコードスニペットを提供します。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda"

model = AutoModelForCausalLM.from_pretrained(
    'sail/Sailor2-20B-Chat',
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained('sail/Sailor2-20B-Chat')
system_prompt= \
'You are an AI assistant named Sailor2, created by Sea AI Lab. \
As an AI assistant, you can answer questions in English, Chinese, and Southeast Asian languages \
such as Burmese, Cebuano, Ilocano, Indonesian, Javanese, Khmer, Lao, Malay, Sundanese, Tagalog, Thai, Vietnamese, and Waray. \
Your responses should be friendly, unbiased, informative, detailed, and faithful.'

prompt = "Beri saya pengenalan singkat tentang model bahasa besar."
# prompt = "Hãy cho tôi một giới thiệu ngắn gọn về mô hình ngôn ngữ lớn."
# prompt = "ให้ฉันแนะนำสั้น ๆ เกี่ยวกับโมเดลภาษาขนาดใหญ่"

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(device)
input_ids = model_inputs.input_ids.to(device)

generated_ids = model.generate(
    input_ids,
    max_new_tokens=512,
)

generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

✨ 主な機能

Sailor2は、最先端の多言語言語モデルを東南アジア（SEA）にもたらすコミュニティ主導の取り組みです。当研究では、本番環境での使用には8Bと20Bパラメータの範囲のモデルが、投機的デコードや研究目的などの特殊なアプリケーションには1Bモデルが強く求められていることが明らかになっています。これらのモデルはApache 2.0ライセンスの下でリリースされ、地域全体で高度な言語技術へのアクセスを強化しています。

Sailor2は、素晴らしい多言語モデルQwen 2.5を基盤として構築され、500Bトークンで継続的に事前学習され、統一モデルで15の言語をより良くサポートしています。これらの言語には、英語、中国語、ビルマ語、セブアノ語、イロカノ語、インドネシア語、ジャワ語、クメール語、ラオス語、マレー語、スンダ語、タガログ語、タイ語、ベトナム語、およびワライ語が含まれます。多様で堅牢かつアクセスしやすい言語モデルに対する需要の高まりに対応し、Sailor2は東南アジア地域の支援が不十分な人々に、オープンで包括的かつアクセスしやすい多言語LLMを提供しようとしています。Sailor2モデルには、それぞれ0.5B、7B、および14BのQwen2.5ベースモデルから拡張された1B、8B、および20Bの3つのサイズがあります。

📚 ドキュメント

モデル概要

学習詳細

開発中は、最高レベルのパフォーマンスと効率を確保するために、さまざまな高度な技術を採用しています。

1. モデル拡張
2. 最適化されたデータミキシング戦略
3. 多段階事前学習プロトコル
4. 高度な多言語事後学習

詳細な学習内容については、Sailor2 Blogを参照してください。

要件

Sailor2のコードは最新のHugging face transformersに含まれており、transformers==4.46.3をインストールすることをお勧めします。

📄 ライセンス

Sailor2は、Apache License 2.0の条項の下で配布されています。研究および商用利用に制限はありません。

引用

Sailor2が役に立った場合は、次のように私たちの研究を引用してください。

@article{sailor2report,
  title  = {Sailor2: Sailing in South-East Asia with Inclusive Multilingual LLM},
  author = {Longxu Dou and Qian Liu and Fan Zhou and Changyu Chen and Zili Wang and Ziqi Jin and Zichen Liu and Tongyao Zhu and Cunxiao Du and Penghui Yang and Haonan Wang and Jiaheng Liu and Yongchi Zhao and Xiachong Feng and Xin Mao and Man Tsung Yeung and Kunat Pipatanakul and Fajri Koto and Min Si Thu and Hynek Kydl{\'\i}{\v{c}}ek and Zeyi Liu and Qunshu Lin and Sittipong Sripaisarnmongkol and Kridtaphad Sae-Khow and Nirattisai Thongchim and Taechawat Konkaew and Narong Borijindargoon and Anh Dao and Matichon Maneegard and Phakphum Artkaew and Zheng-Xin Yong and Quan Nguyen and Wannaphong Phatthiyaphaibun and Hoang H. Tran and Mike Zhang and Shiqi Chen and Tianyu Pang and Chao Du and Xinyi Wan and Wei Lu and Min Lin},
  journal={arXiv preprint arXiv:2502.12982},
  year   = {2025}
}

お問い合わせ

ご質問がある場合は、issueを立てるか、doulx@sea.com または liuqian.sea@gmail.com までご連絡ください。