Persian Mistral 7B

🚀 波斯語米斯特拉爾7B模型

波斯語米斯特拉爾7B模型是專門為波斯語問答和自然語言處理任務設計的微調版本模型，能有效提升波斯語相關任務的處理能力。

模型描述 | 輸出示例 | 基準測試結果 | 使用方法 | 訓練與微調

🚀 快速開始

以下是使用該模型的簡單步驟，你可以按照下面的代碼示例進行操作。

✨ 主要特性

• 基於米斯特拉爾7B模型進行微調，專為波斯語問答和自然語言處理任務設計。
• 通過在多個波斯語數據集上訓練，提升了對波斯語的理解和處理能力。

📦 安裝指南

使用該模型需要安裝transformers庫，你可以使用以下命令進行安裝：

pip install transformers

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("aidal/Persian-Mistral-7B")
model = AutoModelForCausalLM.from_pretrained("aidal/Persian-Mistral-7B")
input_text = "پایتخت ایران کجاست؟"
input_ids = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

📚 詳細文檔

模型描述

波斯語米斯特拉爾是米斯特拉爾7B的微調版本，專為波斯語問答和自然語言處理任務而設計。

輸出示例

示例1：

• 輸入："درمان اصلی برای افراد مبتلا او آر اس، جایگزینی مایعات و الکترولیت ها در بدن"
• 訓練後輸出："درمان اصلی برای افراد مبتلا او آر اس، جایگزینی مایعات و الکترولیت ها در بدن است. که به طور معمول از طریق تزریق وریدی استفاده می شود."
• 訓練前輸出：" درمان اصلی برای افراد مبتلا او آر اس، جایگزینی مایعات و الکترولیتها.The most important treatment for people with diarrhea is oral rehydration solution."

示例2：

• 輸入："سال ۱۹۴۴ متفقین به فرانسه اشغال شده توسط آلمان، در عملیاتی در نرماندی حمله کرده و"
• 訓練後輸出："سال ۱۹۴۴ متفقین به فرانسه اشغال شده توسط آلمان، در عملیاتی در نرماندی حمله کرده و 150,000 نفر از آنها را کشتند."
• 訓練前輸出："سال ۱۹۴۴ متفقین به فرانسه اشغال شده توسط آلمان، در عملیاتی در نرماندی حمله کرده و خرج گرفت.The United States and France have condemned the killing of a French aid worker in Afghanistan by Tal"

基準測試結果

訓練與微調

• 擴展分詞器：基礎的米斯特拉爾分詞器不支持波斯語。作為初始步驟，我們在波斯語維基百科語料庫上訓練了一個SentencePiece分詞器，隨後將其與米斯特拉爾分詞器集成。
• 預訓練：在接下來的步驟中，我們擴展了基礎模型的嵌入層，使其與波斯語分詞器的大小相匹配。然後，我們使用LoRA方法在三個不同的數據集上訓練模型：波斯語維基百科、伊斯蘭書籍集合和Khamenei.ir的內容。

波斯語維基百科：1.83億個詞元，伊斯蘭書籍：5500萬個詞元，Khamenei.ir：900萬個詞元

• 指令微調：在最後一步，我們使用LoRA方法在斯坦福阿爾帕卡的翻譯版本上對模型進行微調，以增強模型的問答能力。 以下圖表展示了上述步驟：