Llama3 1 Turkish ChatBot

🚀 Llama3.1土耳其語教育聊天機器人

本項目是基於Meta LLaMA 3.1 8B大語言模型的微調版本，專門針對土耳其語教育問答場景進行了優化。其核心目標是用土耳其語提供流暢、有信息量且貼合上下文的答案，適用於一般性諮詢和學習支持。

🚀 快速開始

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])

✨ 主要特性

• 專為土耳其語教育問答場景微調，能提供自然、流暢且有意義的答案。
• 採用LoRA技術進行小規模微調（僅訓練1%的可訓練參數），在低計算資源下實現有效學習。
• 具有較強的泛化能力，即使在有限的訓練數據下，也能對廣泛的土耳其語話題做出有效回應。

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])

📚 詳細文檔

訓練總結

數據格式

數據集由CSV格式的土耳其語問答對組成，每行代表一個完整的教育樣本。

示例：

question,answer
What can be done to prevent climate change?,
"To combat climate change, actions like reducing fossil fuel usage and transitioning to renewable energy sources are essential..."

總共使用了17,587個這樣的示例進行微調。

使用場景

該模型旨在作為土耳其語的教育助手，可回答以下相關問題：

• 信息性、常識性或學校相關的主題。
• 為好奇的學習者和學生提供支持。

🔧 技術細節

本模型使用LoRA技術對Meta LLaMA 3.1 8B基礎模型進行微調。在訓練過程中，使用了17,587個土耳其語問答對作為訓練數據，進行了1輪訓練，總訓練步數為2,199步，學習率設置為2e - 5。通過4位量化減少了模型的存儲需求。LoRA技術使得僅訓練1.05%（83M / 8B）的參數就能實現有效的微調，在約3小時的訓練時間內完成了模型的優化。

📄 許可證

本項目採用MIT許可證。