Typhoon 7b Instruct 02 19 2024

🚀 Typhoon-0219：泰语大语言模型（指令型）

Typhoon-0219 是一个拥有 70 亿参数的 指令型 泰语 🇹🇭 大语言模型，它基于 Typhoon 7B 构建。这是服务于 opentyphoon.ai 的第二代指令型模型版本。该模型在一个包含超过 100 万行的多样化指令调优数据集上进行训练，类似 OpenHermes，并且支持使用系统提示。

📚 详细文档

模型描述

预期用途与局限性

此模型是一个指令型模型，但仍在开发中。它包含了一定程度的防护机制，但在响应用户提示时，仍可能产生不准确、有偏差或其他令人反感的答案。我们建议开发者在其使用场景中评估这些风险。

生产部署

我们建议使用 vLLM 项目中的 OpenAI 兼容 API 服务器。

python -m vllm.entrypoints.openai.api_server --port 8080 --model scb10x/typhoon-7b-instruct-02-19-2024 --max-num-batched-tokens 8192 --max-model-len 8192 --served-model-name typhoon-instruct

聊天模板

我们使用 chatml 聊天模板。

{% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content']}}{% if (loop.last and add_generation_prompt) or not loop.last %}{{ '<|im_end|>' + '\n'}}{% endif %}{% endfor %}
{% if add_generation_prompt and messages[-1]['role'] != 'assistant' %}{{ '<|im_start|>assistant\n' }}{% endif %}

🔗 相关链接

关注我们

https://twitter.com/opentyphoon

支持渠道

https://discord.gg/us5gAYmrxw

👥 SCB10X AI 团队

• Kunat Pipatanakul、Potsawee Manakul、Sittipong Sripaisarnmongkol、Pathomporn Chokchainant、Kasima Tharnpipitchai

如果您发现 Typhoon 对您的工作有用，请使用以下方式引用它：

@article{pipatanakul2023typhoon,
    title={Typhoon: Thai Large Language Models}, 
    author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
    year={2023},
    journal={arXiv preprint arXiv:2312.13951},
    url={https://arxiv.org/abs/2312.13951}
}

📞 联系我们

• 一般咨询与合作：kasima@scb10x.com、pathomporn@scb10x.com
• 技术问题：kunat@scb10x.com

📄 许可证

本模型采用 Apache-2.0 许可证。