Nllb 200 Distilled 1.3B Ct2 Int8

🚀 Fast-Inference with Ctranslate2

CTranslate2を使用したint8推論により、CPUまたはGPU上のC++で推論を高速化し、メモリ使用量を2倍から4倍削減します。

facebook/nllb-200-distilled-1.3Bの量子化バージョンです。

🚀 クイックスタート

インストール

pip install ctranslate2

チェックポイント互換性

このチェックポイントはctranslate2>=3.22.0と互換性があります。

• device="cuda"の場合、compute_type=int8_float16を使用します。
• device="cpu"の場合、compute_type=int8を使用します。

変換コード

2023年11月30日にCTranslate2==3.22.0を使用して変換されました。

from ctranslate2.converters import TransformersConverter
TransformersConverter(
    "facebook/nllb-200-distilled-1.3B",
    activation_scales=None,
    copy_files=['tokenizer.json', 'generation_config.json', 'README.md', 'special_tokens_map.json', 'tokenizer_config.json', '.gitattributes'],
    load_as_float16=True,
    revision=None,
    low_cpu_mem_usage=True,
    trust_remote_code=True,
).convert(
    output_dir=str(tmp_dir),
    vmap = None, 
    quantization="int8",
    force = True,
)

📄 ライセンス

これは単なる量子化バージョンです。ライセンス条件は、元のHugging Faceリポジトリと同じです。

📚 ドキュメント

オリジナルの説明

NLLB-200

これはNLLB-200の蒸留1.3Bバリアントのモデルカードです。

この特定のチェックポイントのメトリクスがこちらです。

• トレーニングアルゴリズム、パラメータ、公平性制約、またはその他の適用されるアプローチ、および機能に関する情報。NLLB-200のトレーニングに使用された正確なトレーニングアルゴリズム、データ、および高リソース言語と低リソース言語のデータ不均衡を処理するための戦略は、論文で説明されています。
• 詳細情報のための論文またはその他のリソース：NLLBチーム他、No Language Left Behind: Scaling Human-Centered Machine Translation, Arxiv, 2022
• モデルに関する質問やコメントを送信する場所：https://github.com/facebookresearch/fairseq/issues

想定される使用方法

• 主な想定使用用途：NLLB-200は、主に機械翻訳の研究、特に低リソース言語の研究に使用される機械翻訳モデルです。200言語間の単文翻訳を可能にします。モデルの使用方法に関する情報は、Fairseqのコードリポジトリにトレーニングコードや評価およびトレーニングデータへの参照とともに記載されています。
• 主な想定ユーザー：主なユーザーは、研究者および機械翻訳研究コミュニティです。
• 想定外の使用ケース：NLLB-200は研究用モデルであり、本番環境でのデプロイ向けにはリリースされていません。NLLB-200は一般ドメインのテキストデータでトレーニングされており、医療ドメインや法務ドメインなどの特定ドメインのテキストでの使用を想定していません。このモデルは文書翻訳に使用することを想定していません。モデルは入力長が512トークンを超えないようにトレーニングされているため、より長いシーケンスを翻訳すると品質が低下する可能性があります。NLLB-200の翻訳は、公認翻訳として使用することはできません。

メトリクス

• モデルのパフォーマンス測定：NLLB-200モデルは、機械翻訳コミュニティで広く採用されているBLEU、spBLEU、およびchrF++メトリクスを使用して評価されました。さらに、XSTSプロトコルによる人間による評価を行い、生成された翻訳の毒性を測定しました。

評価データ

• データセット：Flores-200データセットは、セクション4で説明されています。
• 動機：Flores-200は、NLLB-200でサポートされている言語の完全な評価カバレッジを提供するため、使用されました。
• 前処理：文分割された生テキストデータは、SentencePieceを使用して前処理されました。SentencePieceモデルは、NLLB-200とともにリリースされています。

トレーニングデータ

• このモデルのトレーニングには、さまざまなソースからの並列多言語データが使用されました。データ選択と構築プロセスに関する詳細なレポートは、論文のセクション5で提供されています。また、Common Crawlから構築された単言語データも使用されました。詳細はセクション5.2で提供されています。

倫理的配慮

• この研究では、技術開発において反射的アプローチを取り、人間のユーザーを優先し、彼らに転嫁されるリスクを最小限に抑えるように努めました。論文全体で倫理的配慮について考察していますが、以下にいくつかの追加ポイントを強調します。まず、この研究で選択された多くの言語は低リソース言語であり、特にアフリカの言語に重点が置かれています。質の高い翻訳は、多くのコミュニティにおける教育や情報アクセスを改善する可能性がありますが、そのようなアクセスはまた、デジタル素養が低いグループを誤情報やオンライン詐欺に対してより脆弱にする可能性もあります。後者のシナリオは、悪意のある行為者が私たちの研究成果を悪用した場合に発生する可能性があり、これは想定外の使用の一例と考えられます。データ収集に関しては、モデル開発に使用されたトレーニングデータは、ウェブ上のさまざまな公開ソースから収集されました。データクリーニングに多大な努力を注いでいますが、個人を特定できる情報が完全に排除されているとは限りません。最後に、翻訳品質を最適化するために最善を尽くしましたが、モデルによって生成された誤訳が残る可能性があります。確率は低いですが、これは、これらの翻訳に依存して重要な決定を下す人々（特に健康や安全に関連する場合）に悪影響を及ぼす可能性があります。

注意事項と推奨事項

• 当社のモデルは、Wikimediaドメインでテストされており、NLLB-MDでサポートされている他のドメインについては限定的な調査しか行っていません。また、サポートされている言語には、当社のモデルが捉えていないバリエーションが存在する可能性があります。ユーザーは適切な評価を行う必要があります。

二酸化炭素排出量の詳細

• 二酸化炭素（CO2e）の推定値は、セクション8.8で報告されています。

サポートされている言語

言語詳細

タグ

• ctranslate2
• int8
• float16
• nllb
• translation

データセット

• flores-200

メトリクス

• bleu
• spbleu
• chrf++

推論

推論はサポートされていません。