Typhoon 7b Instruct 02 19 2024

🚀 Typhoon-0219：泰語大語言模型（指令型）

Typhoon-0219 是一個擁有 70 億參數的 指令型 泰語 🇹🇭 大語言模型，它基於 Typhoon 7B 構建。這是服務於 opentyphoon.ai 的第二代指令型模型版本。該模型在一個包含超過 100 萬行的多樣化指令調優數據集上進行訓練，類似 OpenHermes，並且支持使用系統提示。

📚 詳細文檔

模型描述

預期用途與侷限性

此模型是一個指令型模型，但仍在開發中。它包含了一定程度的防護機制，但在響應用戶提示時，仍可能產生不準確、有偏差或其他令人反感的答案。我們建議開發者在其使用場景中評估這些風險。

生產部署

我們建議使用 vLLM 項目中的 OpenAI 兼容 API 服務器。

python -m vllm.entrypoints.openai.api_server --port 8080 --model scb10x/typhoon-7b-instruct-02-19-2024 --max-num-batched-tokens 8192 --max-model-len 8192 --served-model-name typhoon-instruct

聊天模板

我們使用 chatml 聊天模板。

{% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content']}}{% if (loop.last and add_generation_prompt) or not loop.last %}{{ '<|im_end|>' + '\n'}}{% endif %}{% endfor %}
{% if add_generation_prompt and messages[-1]['role'] != 'assistant' %}{{ '<|im_start|>assistant\n' }}{% endif %}

🔗 相關鏈接

關注我們

https://twitter.com/opentyphoon

支持渠道

https://discord.gg/us5gAYmrxw

👥 SCB10X AI 團隊

• Kunat Pipatanakul、Potsawee Manakul、Sittipong Sripaisarnmongkol、Pathomporn Chokchainant、Kasima Tharnpipitchai

如果您發現 Typhoon 對您的工作有用，請使用以下方式引用它：

@article{pipatanakul2023typhoon,
    title={Typhoon: Thai Large Language Models}, 
    author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
    year={2023},
    journal={arXiv preprint arXiv:2312.13951},
    url={https://arxiv.org/abs/2312.13951}
}

📞 聯繫我們

• 一般諮詢與合作：kasima@scb10x.com、pathomporn@scb10x.com
• 技術問題：kunat@scb10x.com

📄 許可證

本模型採用 Apache-2.0 許可證。