Llama3 1 Turkish ChatBot

🚀 Llama3.1土耳其语教育聊天机器人

本项目是基于Meta LLaMA 3.1 8B大语言模型的微调版本，专门针对土耳其语教育问答场景进行了优化。其核心目标是用土耳其语提供流畅、有信息量且贴合上下文的答案，适用于一般性咨询和学习支持。

🚀 快速开始

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])

✨ 主要特性

• 专为土耳其语教育问答场景微调，能提供自然、流畅且有意义的答案。
• 采用LoRA技术进行小规模微调（仅训练1%的可训练参数），在低计算资源下实现有效学习。
• 具有较强的泛化能力，即使在有限的训练数据下，也能对广泛的土耳其语话题做出有效回应。

📦 安装指南

文档未提及安装步骤，暂不提供。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])

📚 详细文档

训练总结

数据格式

数据集由CSV格式的土耳其语问答对组成，每行代表一个完整的教育样本。

示例：

question,answer
What can be done to prevent climate change?,
"To combat climate change, actions like reducing fossil fuel usage and transitioning to renewable energy sources are essential..."

总共使用了17,587个这样的示例进行微调。

使用场景

该模型旨在作为土耳其语的教育助手，可回答以下相关问题：

• 信息性、常识性或学校相关的主题。
• 为好奇的学习者和学生提供支持。

🔧 技术细节

本模型使用LoRA技术对Meta LLaMA 3.1 8B基础模型进行微调。在训练过程中，使用了17,587个土耳其语问答对作为训练数据，进行了1轮训练，总训练步数为2,199步，学习率设置为2e - 5。通过4位量化减少了模型的存储需求。LoRA技术使得仅训练1.05%（83M / 8B）的参数就能实现有效的微调，在约3小时的训练时间内完成了模型的优化。

📄 许可证

本项目采用MIT许可证。