Llama 3 Typhoon V1.5 8b Instruct

🚀 Llama-3-Typhoon-1.5-8B: タイ語の大規模言語モデル (命令型)

Llama-3-Typhoon-1.5-8B-instructは、80億のパラメータを持つタイ語 🇹🇭 の命令型大規模言語モデルで、Llama3-8Bをベースに構築されています。

リリース記事については、ブログ をご覧ください。 *基礎モデルを作成する際のMetaの努力を認め、ライセンスに準拠するため、モデル名に明示的に "llama-3" を含めています。

📚 モデルの説明

💪 パフォーマンス

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "scb10x/llama-3-typhoon-v1.5-8b-instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a helpful assistant who're always speak Thai."},
    {"role": "user", "content": "ขอสูตรไก่ย่าง"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.4,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

💬 チャットテンプレート

私たちはllama3のチャットテンプレートを使用しています。

{% set loop_messages = messages %}{% for message in loop_messages %}{% set content = '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n'+ message['content'] | trim + '<|eot_id|>' %}{% if loop.index0 == 0 %}{% set content = bos_token + content %}{% endif %}{{ content }}{% endfor %}{% if add_generation_prompt %}{{ '<|start_header_id|>assistant<|end_header_id|>\n\n' }}{% endif %}

📋 想定される用途と制限

このモデルは命令型モデルです。ただし、まだ開発中です。ある程度のガードレールが組み込まれていますが、ユーザーのプロンプトに対して、不正確、偏った、またはその他の点で問題のある回答を生成する可能性があります。開発者は、自分のユースケースの文脈でこれらのリスクを評価することをお勧めします。

🔗 フォローする

https://twitter.com/opentyphoon

🛠️ サポート

https://discord.gg/us5gAYmrxw

👥 SCB10X AIチーム

• Kunat Pipatanakul, Potsawee Manakul, Sittipong Sripaisarnmongkol, Natapong Nitarach, Pathomporn Chokchainant, Kasima Tharnpipitchai
• Typhoon-8Bがあなたの作業に役立つ場合、以下のように引用してください。

@article{pipatanakul2023typhoon,
    title={Typhoon: Thai Large Language Models}, 
    author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
    year={2023},
    journal={arXiv preprint arXiv:2312.13951},
    url={https://arxiv.org/abs/2312.13951}
}

📞 お問い合わせ

• 一般的なお問い合わせとコラボレーション: kasima@scb10x.com, pathomporn@scb10x.com
• 技術的なお問い合わせ: kunat@scb10x.com