Openthaigpt 1.0.0 13b Chat

🚀 🇹🇭 OpenThaiGPT 13b 1.0.0

OpenThaiGPT 13b 1.0.0 是一款先进的泰语聊天模型，基于 LLaMA v2 架构，拥有 130 亿参数。它专为泰语指令进行了精细微调，并通过将超过 10,000 个最常用的泰语单词添加到大型语言模型（LLM）的词典中，显著提高了响应速度。

更多信息

🚀 快速开始

OpenThaiGPT 13b 版本 1.0.0 是一个先进的 130 亿参数的泰语聊天模型，基于 2024 年 4 月 8 日发布的 LLaMA v2。它专门针对泰语指令进行了微调，并通过将超过 10,000 个最常用的泰语单词添加到大型语言模型（LLM）的词典中，显著提高了其响应速度。

✨ 主要特性

• 领先的泰语大语言模型：与所有其他开源泰语大语言模型相比，在多项泰语考试中取得了最高平均分，树立了新的标杆。
• 首个 70b 泰语开源大语言模型：在泰语考试中的得分高于 OpenAI GPT 3.5、谷歌 Gemini 和 Claude 3 Haiku。
• 支持多轮扩展对话：能够处理多轮对话，保持对话的连贯性。
• 支持检索增强生成（RAG）用例：可以结合外部信息生成更丰富的回复。
• 生成速度提高十倍：通过在模型词典中添加 10,000 个常用泰语单词，显著提高了生成速度。
• 基于超过 650 亿泰语单词预训练：并使用超过 100 万个泰语指令示例进行了精细微调。
• 能够理解和处理长达 4096 个泰语单词的输入上下文：允许详细和复杂的指令。

📚 详细文档

OpenThaiGPT 评估基准

请查看 OTG 13b (2024 年 4 月) 以了解该模型的评估结果。

泰语多项选择题考试，在未见测试集上进行测试，零样本学习。基准源代码和考试信息：https://github.com/OpenThaiGPT/openthaigpt_eval

(更新于：2024 年 4 月 7 日)

外部评估机构（Float16.cloud）的 M3Exam 基准测试

更多信息：https://blog.float16.cloud/the - first - 70b - thai - llm/

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 确保 CUDA 可用
device = 'cuda' if torch.cuda.is_available() else 'cpu'
print(f"使用设备: {device}")

# 初始化模型
model_path="openthaigpt/openthaigpt-1.0.0-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.float16)
model.to(device)

# 提示信息
prompt = "สวัสดีครับ OpenThaiGPT"
llama_prompt = f"<s>[INST] <<SYS>>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด<</SYS>>\n\n{prompt} [/INST]"
inputs = tokenizer.encode(llama_prompt, return_tensors="pt")
inputs = inputs.to(device)

# 生成回复
outputs = model.generate(inputs, max_length=512, num_return_sequences=1)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

高级用法

vLLM 使用示例

1. 安装 VLLM (https://github.com/vllm-project/vllm)

2. 运行服务器

python -m vllm.entrypoints.api_server --model /path/to/model --tensor-parallel-size num_gpus

3. 运行推理 (CURL 示例)

curl --request POST \
    --url http://localhost:8000/generate \
    --header "Content-Type: application/json" \
    --data '{"prompt": "<s>[INST] <<SYS>>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nอยากลดความอ้วนต้องทำอย่างไร [/INST]","use_beam_search": false, "temperature": 0.1, "max_tokens": 512, "top_p": 0.75, "top_k": 40, "frequency_penalty": 0.3 "stop": "</s>"}'

LlamaCPP (用于 GGUF) 使用示例

1. 构建并安装 LlamaCPP (LLAMA_CUBLAS = 1 用于 GPU 推理)

git clone https://github.com/ggerganov/llama.cpp.git \
  && cd llama.cpp \
  && make -j LLAMA_CUBLAS=1 CUDA_DOCKER_ARCH=all

2. 运行服务器

./server -m /path/to/ggml-model-f16.gguf -c 3072 -ngl 81 -ts 1,1 --host 0.0.0.0

3. 运行推理 (CURL 示例)

curl --location 'http://localhost:8000/completion' \
--header 'Content-Type: application/json' \
--data '{
    "prompt":"<s>[INST] <<SYS>>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด friendly\n\n<<SYS>>\n\nอยากลดความอ้วนต้องทำอย่างไร [/INST]",
    "max_tokens": 512,
    "stop":"</s>"
}'

🔧 技术细节

GPU 内存要求

📄 许可证

源代码：采用 Apache 软件许可证 2.0。 模型权重：可用于研究和商业用途。

赞助方

支持渠道

• 官方网站：https://openthaigpt.aieat.or.th
• Facebook 页面：https://web.facebook.com/groups/openthaigpt
• Discord 服务器（用于讨论和支持）：点击进入
• 电子邮件：kobkrit@aieat.or.th

提示格式

提示格式基于 Llama2 并进行了小修改（添加 "###" 以指定上下文部分）

<s>[INST] <<SYS>
{system_prompt}
<</SYS>>

{human_turn1}###{context_turn1} [/INST]{assistant_turn1}</s><s>{human_turn2}###{context_turn2} [/INST] ...

系统提示

You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด

示例

单轮对话示例

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]

带上下文的单轮对话（RAG）示例

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

กรุงเทพมีพื้นที่เท่าไร่###กรุงเทพมหานคร เป็นเมืองหลวง นครและมหานครที่มีประชากรมากที่สุดของประเทศไทย กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม. มีประชากรตามทะเบียนราษฎรกว่า 8 ล้านคน [/INST]

多轮对话示例

第一轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]

第二轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]

第三轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]

第四轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]
ตำไทยเป็นเมนูที่ใครๆ ก็คุ้นเคย ด้วยรสชาติที่กลมกล่อม หวาน เปรี้ยว เค็ม เผ็ด ครบรส วันนี้เราจะมาทำส้มตำด้วยกันค่ะ สิ่งแรกที่ต้องมีคือเครื่องปรุงดังนี้
- มะละกอดิบ 1 ลูก
- กุ้งแห้ง 1/2 ถ้วย
- กระเทียม 3 กลีบ
- พริกขี้หนู 3 เม็ด
- น้ำตาลปี๊บ 1 ช้อนโต๊ะ
- น้ำปลา 2 ช้อนโต๊ะ
- มะนาว 1 ลูก
- งาขาวคั่ว 1/4 ถ้วย

วิธีทำมีดังนี้ค่ะ
1. เริ่มจากล้างมะละกอให้สะอาด แล้วใช้มีดปอกเปลือก เอาไส้ออก หั่นเป็นเส้นบางๆ เตรียมไว้
2. ตำกุ้งแห้งให้ละเอียด แล้วตักขึ้นพักไว้
3. ใช้ครกหินหรือเครื่องปั่น บดพริกขี้หนูกับกระเทียมให้ละเอียด
4. ใส่กุ้งแห้งที่ตำแล้วลงไปผสม ตามด้วยน้ำตาลปี๊บ น้ำปลา มะนาว และเส้นมะละกอ คลุกเคล้าให้เข้ากัน
5. ชิมรสให้ได้รสหวาน เปรี้ยว เค็ม เผ็ด จากนั้นตักขึ้นเสิร์ฟพร้อมผักสด อาทิ กะหล่ำปลี ถั่วงอก แครอท ผักบุ้ง</s><s>ขอบคุณครับ [/INST]

带上下文的多轮对话（RAG）示例

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

กรุงเทพมีพื้นที่เท่าไร่###กรุงเทพมหานคร เป็นเมืองหลวง นครและมหานครที่มีประชากรมากที่สุดของประเทศไทย กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม. มีประชากรตามทะเบียนราษฎรกว่า 8 ล้านคน [/INST]
กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม.</s><s>และประชากรล่ะ [/INST]

OpenThaiGPT 团队成员

• Kobkrit Viriyayudhakorn (kobkrit@aieat.or.th)
• Sumeth Yuenyong (sumeth.yue@mahidol.edu)
• Thaweewat Rugsujarit (thaweewr@scg.com)
• Jillaphat Jaroenkantasima (autsadang41@gmail.com)
• Norapat Buppodom (new@norapat.com)
• Koravich Sangkaew (kwankoravich@gmail.com)
• Peerawat Rojratchadakorn (peerawat.roj@gmail.com)
• Surapon Nonesung (nonesungsurapon@gmail.com)
• Chanon Utupon (chanon.utupon@gmail.com)
• Sadhis Wongprayoon (sadhis.tae@gmail.com)
• Nucharee Thongthungwong (nuchhub@hotmail.com)
• Chawakorn Phiantham (mondcha1507@gmail.com)
• Patteera Triamamornwooth (patt.patteera@gmail.com)
• Nattarika Juntarapaoraya (natt.juntara@gmail.com)
• Kriangkrai Saetan (kraitan.ss21@gmail.com)
• Pitikorn Khlaisamniang (pitikorn32@gmail.com)

引用方式

如果 OpenThaiGPT 对您的工作有帮助，请考虑按以下方式引用：

Bibtex

@misc{yuenyong2024openthaigpt15thaicentricopen,
      title={OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model}, 
      author={Sumeth Yuenyong and Kobkrit Viriyayudhakorn and Apivadee Piyatumrong and Jillaphat Jaroenkantasima},
      year={2024},
      eprint={2411.07238},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.07238}, 
}

APA 格式（用于 TXT、MS Word）

Yuenyong, S., Viriyayudhakorn, K., Piyatumrong, A., & Jaroenkantasima, J. (2024). OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model. arXiv [Cs.CL]. Retrieved from http://arxiv.org/abs/2411.07238

免责声明：提供的回复不保证完全准确。