Llama3 1 Turkish ChatBot

🚀 Llama3.1トルコ語教育チャットボット

このプロジェクトは、Meta LLaMA 3.1 8B大規模言語モデルの微調整版で、トルコ語の教育質問応答シナリオに特化して最適化されています。主な目的は、トルコ語で流暢で有益なコンテキストに沿った回答を提供することで、一般的な相談や学習支援に適しています。

🚀 クイックスタート

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])

✨ 主な機能

• トルコ語の教育質問応答シナリオに特化して微調整され、自然で流暢かつ意味のある回答を提供します。
• LoRA技術を用いて小規模な微調整（学習可能なパラメータの1%のみを学習）を行い、低い計算リソースでも効果的な学習を実現します。
• 強力な汎化能力を持ち、限られた学習データでも幅広いトルコ語のトピックに対して有効な応答を行います。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])

📚 ドキュメント

学習のまとめ

データ形式

データセットはCSV形式のトルコ語の質問と回答のペアで構成されており、各行が1つの完全な教育サンプルを表しています。

例：

question,answer
What can be done to prevent climate change?,
"To combat climate change, actions like reducing fossil fuel usage and transitioning to renewable energy sources are essential..."

合計17,587個のこのような例を使用して微調整を行いました。

使用シナリオ

このモデルはトルコ語の教育アシスタントとして設計されており、以下の関連する質問に回答できます。

• 情報性、一般知識または学校関連のトピック。
• 好奇心旺盛な学習者や学生をサポートする。

🔧 技術詳細

このモデルは、LoRA技術を用いてMeta LLaMA 3.1 8Bベースモデルを微調整しています。学習中は、17,587個のトルコ語の質問と回答のペアを学習データとして使用し、1エポックの学習を行い、総学習ステップ数は2,199ステップ、学習率は2e - 5に設定されています。4ビット量子化により、モデルの保存容量を削減しています。LoRA技術により、わずか1.05%（83M / 8B）のパラメータを学習するだけで効果的な微調整が可能となり、約3時間の学習時間でモデルの最適化が完了しました。

📄 ライセンス

このプロジェクトはMITライセンスを採用しています。