Adabtranslate Darija

🚀 AdabTranslate-Darija

AdabTranslate-Darija 是 moussaKam/arabart 的微調版本，可實現從 Darija（摩洛哥阿拉伯語）到現代標準阿拉伯語（MSA）的翻譯。它在評估集上取得了優異的成績，能有效促進語言交流和文化傳播。

🚀 快速開始

在安裝必要的庫之後，只需複製並粘貼以下代碼即可使用該模型：

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model_path = 'itsmeussa/AdabTranslate-Darija'

model = AutoModelForSeq2SeqLM.from_pretrained(model_path)

tokenizer = AutoTokenizer.from_pretrained('moussaKam/arabart')


seq = "مرحبا بيكم"
tok = tokenizer.encode(seq, return_tensors='pt')

res = model.generate(tok)
tokenizer.decode(res[0])

✨ 主要特性

• 高精度與流暢性：該模型基於 26,000 個文本對進行訓練，這些文本對由人工註釋並使用 GPT - 4 技術進行增強。它在 Darija 和現代標準阿拉伯語（MSA）之間的翻譯中實現了出色的準確性和流暢性。
• 廣泛適用性：適用於語言愛好者、研究人員和從事多語言項目的開發人員等各類用戶，在多種場景下都能保證一定的準確性和有效性。
• 先進技術驅動：由 Hugging Face Transformers 庫提供支持，代表了自然語言處理技術的重大進步。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 Hugging Face 相關庫的安裝說明來安裝必要的庫，如 transformers、torch、datasets、tokenizers 等。

💻 使用示例

基礎用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model_path = 'itsmeussa/AdabTranslate-Darija'

model = AutoModelForSeq2SeqLM.from_pretrained(model_path)

tokenizer = AutoTokenizer.from_pretrained('moussaKam/arabart')


seq = "مرحبا بيكم"
tok = tokenizer.encode(seq, return_tensors='pt')

res = model.generate(tok)
tokenizer.decode(res[0])

📚 詳細文檔

模型描述

Darija 到 MSA 翻譯器是一款先進的翻譯模型，它在由人工註釋並使用 GPT - 4 技術增強的 26,000 個文本對的多樣化數據集上進行了精心訓練。該模型利用 Hugging Face 上可用的數據集，並採用先進的訓練技術，在 Darija（摩洛哥阿拉伯語）和現代標準阿拉伯語（MSA）之間的翻譯中實現了卓越的準確性和流暢性。它由 Hugging Face Transformers 庫提供支持，是自然語言處理技術的重大進步，是消除語言障礙和促進語言多樣性的寶貴工具。

預期用途和侷限性

Darija 到 MSA 翻譯器旨在滿足廣泛用戶的需求，包括語言愛好者、研究人員和從事多語言項目的開發人員。它在多樣化數據集上的強大訓練確保了在各種上下文中的準確性和有效性。然而，用戶應注意其侷限性，特別是在高度專業化或特定領域的翻譯中，可能需要進行額外的微調。

訓練和評估數據

訓練數據由通過人工註釋生成並使用 GPT - 4 技術增強的 26,000 個文本對組成。這些數據集來自 Hugging Face，確保了用於訓練的示例全面且多樣化。評估數據經過精心挑選，以驗證模型在現實場景中的性能和準確性，確保其在實際應用中的可靠性和有效性。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率（learning_rate）：5e - 05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：16
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，β1 = 0.9，β2 = 0.999，ε = 1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：5.0

訓練結果

框架版本

• Transformers 4.40.0.dev0
• Pytorch 2.2.1+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2

🔧 技術細節

該模型是 moussaKam/arabart 的微調版本，使用了 Hugging Face Transformers 庫。在訓練過程中，採用了特定的超參數，如學習率、批次大小等，以優化模型性能。通過在多樣化的數據集上進行訓練和評估，確保了模型在實際應用中的可靠性和有效性。

📄 許可證

本模型使用 Apache - 2.0 許可證。

作者

• Oussama Mounajjim
• Imad Zaoug
• Mehdi Soufiane