Nllb 200 Distilled 350M En Ko

🚀 NLLB-200 Distilled-350M_en2ko

NLLB-200模型在翻譯任務中表現出色，為解決低資源語言問題做出了貢獻。然而，對於計算資源有限的用戶來說，運行6億參數及以上的模型仍具有挑戰性。因此，我創建了一個更小的模型，專注於英語到韓語的翻譯，該模型甚至可以在CPU上運行（無需混合精度和量化）。

🚀 快速開始

你可以按照以下代碼示例快速使用該模型進行英語到韓語的翻譯：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained('dhtocks/nllb-200-distilled-350M_en-ko', forced_bos_token_id=256098)
tokenizer = AutoTokenizer.from_pretrained('dhtocks/nllb-200-distilled-350M_en-ko', src_lang='eng_Latn', tgt_lang='kor_Hang')

inputs = tokenizer('[YOUR_INPUT]', return_tensors="pt")
output = model.generate(**inputs)
print(tokenizer.decode(output[0]))

✨ 主要特性

• 輕量級模型：基於NLLB-200 6億參數模型進行優化，參數僅為3.50537728億（350M），降低了計算資源需求。
• 可CPU運行：無需混合精度和量化，可在CPU上運行，方便資源有限的用戶使用。

📦 安裝指南

文檔未提供具體安裝步驟，可參考transformers庫的官方安裝指南進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained('dhtocks/nllb-200-distilled-350M_en-ko', forced_bos_token_id=256098)
tokenizer = AutoTokenizer.from_pretrained('dhtocks/nllb-200-distilled-350M_en-ko', src_lang='eng_Latn', tgt_lang='kor_Hang')

inputs = tokenizer('[YOUR_INPUT]', return_tensors="pt")
output = model.generate(**inputs)
print(tokenizer.decode(output[0]))

📚 詳細文檔

模型信息

數據信息

評估指標

硬件環境

• CPU：Intel (R) Xeon(R) CPU @ 2.20GHz (16 cores)
• GPU：NVIDIA L4 24GB

📄 許可證

本模型使用的許可證為CC-BY-NC 4.0。

📚 引用信息

@misc{,
  title={NLLB-200 distilled_350M_en-ko},
  author={Saechan Oh},
  year={2024}
}