Indicbertv2 MLM Only

🚀 IndicBERT

IndicBERTは、多言語言語モデルで、IndicCorp v2上で訓練され、IndicXTREMEベンチマークテストで評価されています。このモデルは2.78億個のパラメータを持ち、23種類のインド言語と英語をサポートしています。モデルは、複数の目標とデータセットを用いて訓練されています。

サポート言語

モデルタグ

• indicbert2
• ai4bharat
• multilingual

ライセンス

本プロジェクトはMITライセンスの下で提供されています。

評価指標

• 正解率

タスクタイプ

マスク埋め

🚀 クイックスタート

モデルリスト

• IndicBERT-MLM [モデル] - IndicCorp v2に基づき、MLM目標で訓練された古典的なBERTスタイルのモデル
  • +Samanantar [モデル] - Samanantar平行コーパスを追加目標とするTLM訓練モデル [論文] | [データセット]
  • +逆翻訳 [モデル] - IndicTransモデルを使ってIndicCorp v2データセットのインド部分を英語に翻訳し、追加目標とするTLM訓練モデル [モデル]
• IndicBERT-SS [モデル] - 言語間でより良い語彙共有を促進するため、インド言語の文字を天城文に変換し、MLM目標で訓練されたBERTスタイルのモデル

📦 インストール

微調整スクリプトはtransformersライブラリに基づいています。新しいconda環境を作成し、以下のように設定してください：

conda create -n finetuning python=3.9
pip install -r requirements.txt

💻 使用例

基本的な使用法

すべてのタスクは同じ構造に従います。詳細なハイパーパラメータの選択については、各ファイルを参照してください。以下のコマンドは、あるタスクの微調整を実行するためのものです：

python IndicBERT/fine-tuning/$TASK_NAME/$TASK_NAME.py \
    --model_name_or_path=$MODEL_NAME \
    --do_train

パラメータ説明

• MODEL_NAME: 微調整するモデルの名前で、ローカルパスまたはHuggingFaceモデルセンターのモデルを指定できます。
• TASK_NAME: 以下のタスクのいずれか [ner, paraphrase, qa, sentiment, xcopa, xnli, flores]

⚠️ 重要な注意事項

MASSIVEタスクについては、公式リポジトリに記載されている説明を使用してください。

📚 引用

@inproceedings{doddapaneni-etal-2023-towards,
    title = "Towards Leaving No {I}ndic Language Behind: Building Monolingual Corpora, Benchmark and Models for {I}ndic Languages",
    author = "Doddapaneni, Sumanth  and
      Aralikatte, Rahul  and
      Ramesh, Gowtham  and
      Goyal, Shreya  and
      Khapra, Mitesh M.  and
      Kunchukuttan, Anoop  and
      Kumar, Pratyush",
    editor = "Rogers, Anna  and
      Boyd-Graber, Jordan  and
      Okazaki, Naoaki",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.693",
    doi = "10.18653/v1/2023.acl-long.693",
    pages = "12402--12426",
    abstract = "Building Natural Language Understanding (NLU) capabilities for Indic languages, which have a collective speaker base of more than one billion speakers is absolutely crucial. In this work, we aim to improve the NLU capabilities of Indic languages by making contributions along 3 important axes (i) monolingual corpora (ii) NLU testsets (iii) multilingual LLMs focusing on Indic languages. Specifically, we curate the largest monolingual corpora, IndicCorp, with 20.9B tokens covering 24 languages from 4 language families - a 2.3x increase over prior work, while supporting 12 additional languages. Next, we create a human-supervised benchmark, IndicXTREME, consisting of nine diverse NLU tasks covering 20 languages. Across languages and tasks, IndicXTREME contains a total of 105 evaluation sets, of which 52 are new contributions to the literature. To the best of our knowledge, this is the first effort towards creating a standard benchmark for Indic languages that aims to test the multilingual zero-shot capabilities of pretrained language models. Finally, we train IndicBERT v2, a state-of-the-art model supporting all the languages. Averaged across languages and tasks, the model achieves an absolute improvement of 2 points over a strong baseline. The data and models are available at \url{https://github.com/AI4Bharat/IndicBERT}.",
}