🚀 mT5_base_eng_yor_mt
mT5_base_eng_yor_mtは、mT5-baseモデルをファインチューニングした、英語からヨルバ語への機械翻訳モデルです。このモデルは、英語からヨルバ語への自動翻訳において強力なベースラインを確立します。
🚀 クイックスタート
このモデルは、Transformersのpipelineを使って機械翻訳に利用できます。以下に使用例を示します。
from transformers import MT5ForConditionalGeneration, T5Tokenizer
model = MT5ForConditionalGeneration.from_pretrained("Davlan/mt5_base_eng_yor_mt")
tokenizer = T5Tokenizer.from_pretrained("google/mt5-base")
input_string = "Where are you?"
inputs = tokenizer.encode(input_string, return_tensors="pt")
generated_tokens = model.generate(inputs)
results = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(results)
✨ 主な機能
- 英語からヨルバ語への機械翻訳を行うことができます。
- mT5-baseモデルをファインチューニングしており、一定の精度を持っています。
📦 インストール
このモデルを使用するには、transformers
ライブラリが必要です。以下のコマンドでインストールできます。
pip install transformers
💻 使用例
基本的な使用法
from transformers import MT5ForConditionalGeneration, T5Tokenizer
model = MT5ForConditionalGeneration.from_pretrained("Davlan/mt5_base_eng_yor_mt")
tokenizer = T5Tokenizer.from_pretrained("google/mt5-base")
input_string = "Where are you?"
inputs = tokenizer.encode(input_string, return_tensors="pt")
generated_tokens = model.generate(inputs)
results = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(results)
📚 ドキュメント
モデルの詳細
mT5_base_yor_eng_mtは、mT5-baseモデルをJW300ヨルバ語コーパスとMenyo-20kでファインチューニングしたモデルです。
想定される用途と制限
使い方
このモデルは、Transformersのpipelineを使って機械翻訳に利用できます。
制限とバイアス
このモデルは、特定の期間のエンティティアノテーション付きニュース記事のトレーニングデータセットに制限されています。このため、異なるドメインのすべてのユースケースに対して汎化性能が十分でない可能性があります。
トレーニングデータ
このモデルは、JW300コーパスとMenyo-20kデータセットでファインチューニングされました。
トレーニング手順
このモデルは、単一のNVIDIA V100 GPUでトレーニングされました。
テストセットでの評価結果 (BLEUスコア)
Menyo-20kテストセットでのBLEUスコアは9.82です。
BibTeXエントリと引用情報
By David Adelani
🔧 技術詳細
このモデルは、mT5-baseモデルをベースにしており、JW300ヨルバ語コーパスとMenyo-20kでファインチューニングされました。トレーニングは単一のNVIDIA V100 GPUで行われました。
📄 ライセンス
原文書にライセンス情報が記載されていないため、このセクションは省略されています。
情報テーブル
属性 |
详情 |
モデルタイプ |
機械翻訳モデル |
トレーニングデータ |
JW300コーパスとMenyo-20kデータセット |