Openthaigpt 1.0.0 70b Chat

🚀 🇹🇭 OpenThaiGPT 70b 1.0.0

OpenThaiGPT 70b 1.0.0是一款先进的泰语聊天模型，拥有700亿参数。它基于LLaMA v2开发，于2024年4月8日发布。该模型针对泰语指令进行了专门微调，并将超过10,000个最常用的泰语单词添加到大型语言模型（LLM）的字典中，显著提高了响应速度。

🚀 快速开始

你可以按照以下不同方式使用OpenThaiGPT：

Huggingface

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Ensure CUDA is available
device = 'cuda' if torch.cuda.is_available() else 'cpu'
print(f"Using device: {device}")

# Init Model
model_path="openthaigpt/openthaigpt-1.0.0-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.float16)
model.to(device)

# Prompt
prompt = "สวัสดีครับ OpenThaiGPT"
llama_prompt = f"<s>[INST] <<SYS>>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด<</SYS>>\n\n{prompt} [/INST]"
inputs = tokenizer.encode(llama_prompt, return_tensors="pt")
inputs = inputs.to(device)

# Generate
outputs = model.generate(inputs, max_length=512, num_return_sequences=1)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

vLLM

1. 安装VLLM (https://github.com/vllm-project/vllm)

2. 运行服务器

python -m vllm.entrypoints.api_server --model /path/to/model --tensor-parallel-size num_gpus

3. 运行推理（CURL示例）

curl --request POST \
    --url http://localhost:8000/generate \
    --header "Content-Type: application/json" \
    --data '{"prompt": "<s>[INST] <<SYS>>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nอยากลดความอ้วนต้องทำอย่างไร [/INST]","use_beam_search": false, "temperature": 0.1, "max_tokens": 512, "top_p": 0.75, "top_k": 40, "frequency_penalty": 0.3 "stop": "</s>"}'

LlamaCPP (for GGUF)

1. 构建并安装LlamaCPP（LLAMA_CUBLAS=1用于GPU推理）

git clone https://github.com/ggerganov/llama.cpp.git \
  && cd llama.cpp \
  && make -j LLAMA_CUBLAS=1 CUDA_DOCKER_ARCH=all

2. 运行服务器

./server -m /path/to/ggml-model-f16.gguf -c 3072 -ngl 81 -ts 1,1 --host 0.0.0.0

3. 运行推理（CURL示例）

curl --location 'http://localhost:8000/completion' \
--header 'Content-Type: application/json' \
--data '{
    "prompt":"<s>[INST] <<SYS>>\nYou are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด friendly\n\n<<SYS>>\n\nอยากลดความอ้วนต้องทำอย่างไร [/INST]",
    "max_tokens": 512,
    "stop":"</s>"
}'

✨ 主要特性

• 前沿的泰语大语言模型：在多项泰语考试中，与其他所有开源泰语大语言模型相比，取得了最高的平均分数，树立了新的标杆。
• 首个700亿参数的泰语开源大语言模型：在泰语考试中的得分高于OpenAI GPT 3.5、Google Gemini和Claude 3 Haiku。
• 支持多轮扩展对话：能够进行多轮的连续对话。
• 支持检索增强生成（RAG）用例：用于生成更丰富的回复。
• 生成速度提高十倍：由于在模型字典中添加了10,000个常用泰语单词。
• 基于超过650亿个泰语单词进行预训练：并使用超过100万个泰语指令示例进行了精心微调。
• 能够理解和处理长达4096个泰语单词的输入上下文：允许详细和复杂的指令。

📚 详细文档

在OpenThaiGPT评估中的基准测试

请查看OTG 13b (2024年4月)以获取该模型的评估结果。

泰语多项选择题考试，在未见测试集上进行测试，零样本学习。基准测试源代码和考试信息：https://github.com/OpenThaiGPT/openthaigpt_eval

(更新于：2024年4月7日)

由外部方（Float16.cloud）评估的M3Exam基准测试

更多信息：https://blog.float16.cloud/the-first-70b-thai-llm/

提示格式

提示格式基于Llama2进行了小修改（添加 "###" 以指定上下文部分）

<s>[INST] <<SYS>
{system_prompt}
<</SYS>>

{human_turn1}###{context_turn1} [/INST]{assistant_turn1}</s><s>{human_turn2}###{context_turn2} [/INST] ...

系统提示

You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด

示例

单轮对话示例

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]

带上下文的单轮对话（RAG）示例

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

กรุงเทพมีพื้นที่เท่าไร่###กรุงเทพมหานคร เป็นเมืองหลวง นครและมหานครที่มีประชากรมากที่สุดของประเทศไทย กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม. มีประชากรตามทะเบียนราษฎรกว่า 8 ล้านคน [/INST]

多轮对话示例

第一轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]

第二轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]

第三轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]

第四轮

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]
ตำไทยเป็นเมนูที่ใครๆ ก็คุ้นเคย ด้วยรสชาติที่กลมกล่อม หวาน เปรี้ยว เค็ม เผ็ด ครบรส วันนี้เราจะมาทำส้มตำด้วยกันค่ะ สิ่งแรกที่ต้องมีคือเครื่องปรุงดังนี้
- มะละกอดิบ 1 ลูก
- กุ้งแห้ง 1/2 ถ้วย
- กระเทียม 3 กลีบ
- พริกขี้หนู 3 เม็ด
- น้ำตาลปี๊บ 1 ช้อนโต๊ะ
- น้ำปลา 2 ช้อนโต๊ะ
- มะนาว 1 ลูก
- งาขาวคั่ว 1/4 ถ้วย

วิธีทำมีดังนี้ค่ะ
1. เริ่มจากล้างมะละกอให้สะอาด แล้วใช้มีดปอกเปลือก เอาไส้ออก หั่นเป็นเส้นบางๆ เตรียมไว้
2. ตำกุ้งแห้งให้ละเอียด แล้วตักขึ้นพักไว้
3. ใช้ครกหินหรือเครื่องปั่น บดพริกขี้หนูกับกระเทียมให้ละเอียด
4. ใส่กุ้งแห้งที่ตำแล้วลงไปผสม ตามด้วยน้ำตาลปี๊บ น้ำปลา มะนาว และเส้นมะละกอ คลุกเคล้าให้เข้ากัน
5. ชิมรสให้ได้รสหวาน เปรี้ยว เค็ม เผ็ด จากนั้นตักขึ้นเสิร์ฟพร้อมผักสด อาทิ กะหล่ำปลี ถั่วงอก แครอท ผักบุ้ง</s><s>ขอบคุณครับ [/INST]

带上下文的多轮对话（RAG）示例

<s>[INST] <<SYS>
You are a question answering assistant. Answer the question as truthful and helpful as possible คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

กรุงเทพมีพื้นที่เท่าไร่###กรุงเทพมหานคร เป็นเมืองหลวง นครและมหานครที่มีประชากรมากที่สุดของประเทศไทย กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม. มีประชากรตามทะเบียนราษฎรกว่า 8 ล้านคน [/INST]
กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม.</s><s>และประชากรล่ะ [/INST]

GPU内存要求

🔧 技术细节

OpenThaiGPT 70b 1.0.0基于LLaMA v2开发，预训练时使用了超过650亿个泰语单词，并使用超过100万个泰语指令示例进行了微调。通过在模型字典中添加10,000个常用泰语单词，显著提高了生成速度。

📄 许可证

源代码：采用Apache软件许可证2.0。 权重：可用于研究和商业用途。

支持与赞助

赞助方

支持渠道

• 官方网站：https://openthaigpt.aieat.or.th
• Facebook页面：https://web.facebook.com/groups/openthaigpt
• Discord服务器：点击加入
• 邮箱：kobkrit@aieat.or.th

团队成员

• Kobkrit Viriyayudhakorn (kobkrit@aieat.or.th)
• Sumeth Yuenyong (sumeth.yue@mahidol.edu)
• Thaweewat Rugsujarit (thaweewr@scg.com)
• Jillaphat Jaroenkantasima (autsadang41@gmail.com)
• Norapat Buppodom (new@norapat.com)
• Koravich Sangkaew (kwankoravich@gmail.com)
• Peerawat Rojratchadakorn (peerawat.roj@gmail.com)
• Surapon Nonesung (nonesungsurapon@gmail.com)
• Chanon Utupon (chanon.utupon@gmail.com)
• Sadhis Wongprayoon (sadhis.tae@gmail.com)
• Nucharee Thongthungwong (nuchhub@hotmail.com)
• Chawakorn Phiantham (mondcha1507@gmail.com)
• Patteera Triamamornwooth (patt.patteera@gmail.com)
• Nattarika Juntarapaoraya (natt.juntara@gmail.com)
• Kriangkrai Saetan (kraitan.ss21@gmail.com)
• Pitikorn Khlaisamniang (pitikorn32@gmail.com)

引用

如果OpenThaiGPT对你的工作有帮助，请考虑以下引用方式：

Bibtex

@misc{yuenyong2024openthaigpt15thaicentricopen,
      title={OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model}, 
      author={Sumeth Yuenyong and Kobkrit Viriyayudhakorn and Apivadee Piyatumrong and Jillaphat Jaroenkantasima},
      year={2024},
      eprint={2411.07238},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.07238}, 
}

APA格式（适用于TXT、MS Word）

Yuenyong, S., Viriyayudhakorn, K., Piyatumrong, A., & Jaroenkantasima, J. (2024). OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model. arXiv [Cs.CL]. Retrieved from http://arxiv.org/abs/2411.07238

免责声明：提供的回复不保证完全准确。