Typhoon 7b Instruct 02 19 2024

🚀 Typhoon-0219: タイ語の大規模言語モデル (Instruct)

Typhoon-0219 は、70億パラメータを持つ 命令型 のタイ語 🇹🇭 の大規模言語モデルで、Typhoon 7B をベースに構築されています。これは opentyphoon.ai をサポートする第2世代の命令型モデルバージョンです。OpenHermes に類似した100万行以上の多様な命令微調整データセットで学習され、システムプロンプトの使用をサポートしています。

📚 モデルの説明

✨ 主な機能

このモデルは命令型モデルです。ただし、まだ開発中です。ある程度のガードレールが組み込まれていますが、ユーザーのプロンプトに対して不正確、偏見がある、またはその他の点で問題のある回答を生成する可能性があります。開発者は、自身のユースケースの文脈でこれらのリスクを評価することをお勧めします。

🚀 クイックスタート

本番環境でのデプロイ

vLLM プロジェクトのOpenAI互換APIサーバーの使用をおすすめします。

python -m vllm.entrypoints.openai.api_server --port 8080 --model scb10x/typhoon-7b-instruct-02-19-2024 --max-num-batched-tokens 8192 --max-model-len 8192 --served-model-name typhoon-instruct

チャットテンプレート

chatmlチャットテンプレートを使用しています。

{% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content']}}{% if (loop.last and add_generation_prompt) or not loop.last %}{{ '<|im_end|>' + '\n'}}{% endif %}{% endfor %}
{% if add_generation_prompt and messages[-1]['role'] != 'assistant' %}{{ '<|im_start|>assistant\n' }}{% endif %}

🔗 フォロー

• https://twitter.com/opentyphoon

💬 サポート

• https://discord.gg/us5gAYmrxw

👥 SCB10X AIチーム

• Kunat Pipatanakul, Potsawee Manakul, Sittipong Sripaisarnmongkol, Pathomporn Chokchainant, Kasima Tharnpipitchai

このモデルがあなたの作業に役立つ場合、以下のように引用してください。

@article{pipatanakul2023typhoon,
    title={Typhoon: Thai Large Language Models}, 
    author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
    year={2023},
    journal={arXiv preprint arXiv:2312.13951},
    url={https://arxiv.org/abs/2312.13951}
}

📞 お問い合わせ

• 一般的なお問い合わせとコラボレーション: kasima@scb10x.com, pathomporn@scb10x.com
• 技術的なお問い合わせ: kunat@scb10x.com