Mt5 Base Eng Yor Mt

🚀 mT5_base_eng_yor_mt

mT5_base_eng_yor_mtは、mT5-baseモデルをファインチューニングした、英語からヨルバ語への機械翻訳モデルです。このモデルは、英語からヨルバ語への自動翻訳において強力なベースラインを確立します。

🚀 クイックスタート

このモデルは、Transformersのpipelineを使って機械翻訳に利用できます。以下に使用例を示します。

from transformers import MT5ForConditionalGeneration, T5Tokenizer

model = MT5ForConditionalGeneration.from_pretrained("Davlan/mt5_base_eng_yor_mt")
tokenizer = T5Tokenizer.from_pretrained("google/mt5-base")
input_string = "Where are you?"
inputs = tokenizer.encode(input_string, return_tensors="pt")
generated_tokens = model.generate(inputs)
results = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(results)

✨ 主な機能

• 英語からヨルバ語への機械翻訳を行うことができます。
• mT5-baseモデルをファインチューニングしており、一定の精度を持っています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import MT5ForConditionalGeneration, T5Tokenizer

model = MT5ForConditionalGeneration.from_pretrained("Davlan/mt5_base_eng_yor_mt")
tokenizer = T5Tokenizer.from_pretrained("google/mt5-base")
input_string = "Where are you?"
inputs = tokenizer.encode(input_string, return_tensors="pt")
generated_tokens = model.generate(inputs)
results = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(results)

📚 ドキュメント

モデルの詳細

mT5_base_yor_eng_mtは、mT5-baseモデルをJW300ヨルバ語コーパスとMenyo-20kでファインチューニングしたモデルです。

想定される用途と制限

使い方

このモデルは、Transformersのpipelineを使って機械翻訳に利用できます。

制限とバイアス

このモデルは、特定の期間のエンティティアノテーション付きニュース記事のトレーニングデータセットに制限されています。このため、異なるドメインのすべてのユースケースに対して汎化性能が十分でない可能性があります。

トレーニングデータ

このモデルは、JW300コーパスとMenyo-20kデータセットでファインチューニングされました。

トレーニング手順

このモデルは、単一のNVIDIA V100 GPUでトレーニングされました。

テストセットでの評価結果 (BLEUスコア)

Menyo-20kテストセットでのBLEUスコアは9.82です。

BibTeXエントリと引用情報

By David Adelani

🔧 技術詳細

このモデルは、mT5-baseモデルをベースにしており、JW300ヨルバ語コーパスとMenyo-20kでファインチューニングされました。トレーニングは単一のNVIDIA V100 GPUで行われました。

📄 ライセンス

原文書にライセンス情報が記載されていないため、このセクションは省略されています。

情報テーブル