Openlid

🚀 OpenLID

OpenLIDは、201の言語をカバーする高カバレッジかつ高性能な言語識別モデルです。このモデルと学習データに関する情報を公開することで、言語識別の分野におけるさらなる研究を促進します。

🚀 クイックスタート

OpenLIDは、高カバレッジで高性能な言語識別モデルです。201の言語をカバーするfastTextモデルで、学習データと言語ごとのパフォーマンスが公開されており、さらなる研究を促進することを目的としています。

モデルの使用方法

与えられたテキストの言語を検出するには、以下のようにします。

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="laurievb/OpenLID", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.predict("Hello, world!")

(('__label__eng_Latn',), array([0.81148803]))

>>> model.predict("Hello, world!", k=5)

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

✨ 主な機能

• 高カバレッジ：201の言語をカバーしています。
• 高性能：F1スコアなどの指標で高いパフォーマンスを示します。
• データ公開：学習データと言語ごとのパフォーマンスが公開されています。

📦 インストール

このモデルを使用するには、fasttextとhuggingface_hubライブラリが必要です。以下のコマンドでインストールできます。

pip install fasttext huggingface_hub

💻 使用例

基本的な使用法

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="laurievb/OpenLID", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.predict("Hello, world!")

(('__label__eng_Latn',), array([0.81148803]))

高度な使用法

>>> model.predict("Hello, world!", k=5)

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

📚 ドキュメント

モデルの制限とバイアス

• 言語カバレッジ：このデータセットとモデルは201の言語のみをカバーしています。
• ドメイン依存性：テストセットは単一のドメイン（ウィキ記事）の文章で構成されているため、他のドメインでのパフォーマンスは反映されていない可能性があります。
• データ検証：データの多くはネイティブスピーカーによる検証が不十分です。

学習データ

このモデルは、OpenLIDデータセットを使用して学習されています。

学習手順

このモデルは、以下のハイパーパラメータを設定してfastTextを使用して学習されました。他のハイパーパラメータはデフォルト値に設定されています。

• 損失関数：softmax
• エポック数：2
• 学習率：0.8
• 単語の最小出現回数：1000
• 埋め込み次元数：256
• 文字n-gram：2 - 5
• 単語n-gram：1
• バケットサイズ：1,000,000
• スレッド数：68

評価データセット

このモデルは、Costa-jussà et al. (2022)によって提供されたFLORES-200ベンチマークを使用して評価されました。詳細な情報は論文を参照してください。

BibTeXエントリと引用情報

ACL引用 (推奨)

@inproceedings{burchell-etal-2023-open,
    title = "An Open Dataset and Model for Language Identification",
    author = "Burchell, Laurie  and
      Birch, Alexandra  and
      Bogoychev, Nikolay  and
      Heafield, Kenneth",
    editor = "Rogers, Anna  and
      Boyd-Graber, Jordan  and
      Okazaki, Naoaki",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-short.75",
    doi = "10.18653/v1/2023.acl-short.75",
    pages = "865--879",
    abstract = "Language identification (LID) is a fundamental step in many natural language processing pipelines. However, current LID systems are far from perfect, particularly on lower-resource languages. We present a LID model which achieves a macro-average F1 score of 0.93 and a false positive rate of 0.033{\%} across 201 languages, outperforming previous work. We achieve this by training on a curated dataset of monolingual data, which we audit manually to ensure reliability. We make both the model and the dataset available to the research community. Finally, we carry out detailed analysis into our model{'}s performance, both in comparison to existing open models and by language class.",
}

ArXiv引用

@article{burchell2023open,
  title={An Open Dataset and Model for Language Identification},
  author={Burchell, Laurie and Birch, Alexandra and Bogoychev, Nikolay and Heafield, Kenneth},
  journal={arXiv preprint arXiv:2305.13820},
  year={2023}
}

🔧 技術詳細

OpenLIDはfastTextモデルをベースに構築されており、201の言語をカバーする言語識別モデルです。学習データは公開されており、研究の促進に役立てることができます。

📄 ライセンス

このモデルはGPL-3.0ライセンスの下で公開されています。

関連情報

• 開発者：Laurie Burchell, Alexandra Birch, Nikolay Bogoychev, Kenneth Heafield
• モデルタイプ：テキスト分類（言語識別）
• 言語：英語
• 詳細情報：OpenLIDのGitHubリポジトリ