🚀 Typhoon-0219:泰语大语言模型(指令型)
Typhoon-0219 是一个拥有 70 亿参数的 指令型 泰语 🇹🇭 大语言模型,它基于 Typhoon 7B 构建。这是服务于 opentyphoon.ai 的第二代指令型模型版本。该模型在一个包含超过 100 万行的多样化指令调优数据集上进行训练,类似 OpenHermes,并且支持使用系统提示。
📚 详细文档
模型描述
属性 |
详情 |
模型类型 |
基于 Mistral 架构的 70 亿参数指令型仅解码器模型。 |
要求 |
transformers 4.38.0 或更新版本。 |
主要语言 |
泰语 🇹🇭 和英语 🇬🇧 |
许可证 |
Apache-2.0 |
预期用途与局限性
此模型是一个指令型模型,但仍在开发中。它包含了一定程度的防护机制,但在响应用户提示时,仍可能产生不准确、有偏差或其他令人反感的答案。我们建议开发者在其使用场景中评估这些风险。
生产部署
我们建议使用 vLLM 项目中的 OpenAI 兼容 API 服务器。
python -m vllm.entrypoints.openai.api_server --port 8080 --model scb10x/typhoon-7b-instruct-02-19-2024 --max-num-batched-tokens 8192 --max-model-len 8192 --served-model-name typhoon-instruct
聊天模板
我们使用 chatml 聊天模板。
{% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content']}}{% if (loop.last and add_generation_prompt) or not loop.last %}{{ '<|im_end|>' + '\n'}}{% endif %}{% endfor %}
{% if add_generation_prompt and messages[-1]['role'] != 'assistant' %}{{ '<|im_start|>assistant\n' }}{% endif %}
🔗 相关链接
关注我们
https://twitter.com/opentyphoon
支持渠道
https://discord.gg/us5gAYmrxw
👥 SCB10X AI 团队
- Kunat Pipatanakul、Potsawee Manakul、Sittipong Sripaisarnmongkol、Pathomporn Chokchainant、Kasima Tharnpipitchai
如果您发现 Typhoon 对您的工作有用,请使用以下方式引用它:
@article{pipatanakul2023typhoon,
title={Typhoon: Thai Large Language Models},
author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
year={2023},
journal={arXiv preprint arXiv:2312.13951},
url={https://arxiv.org/abs/2312.13951}
}
📞 联系我们
📄 许可证
本模型采用 Apache-2.0 许可证。