Glotlid

🚀 GlotLID

GlotLIDはFasttextを用いた言語識別（LID）モデルで、2000以上のラベルをサポートしています。このモデルにより、多様な言語の識別が可能になります。

🚀 クイックスタート

モデルの使用方法

与えられたテキストの言語を検出するには、以下のようにします。

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

# model.binは常に最新バージョン
>>> model_path = hf_hub_download(repo_id="cis-lmu/glotlid", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.predict("Hello, world!")

もしhuggingface_hubが好きでない場合は、直接モデルをダウンロードしてください。

>>> ! wget https://huggingface.co/cis-lmu/glotlid/resolve/main/model.bin

>>> import fasttext

>>> model = fasttext.load_model("/path/to/model.bin")
>>> model.predict("Hello, world!")

✨ 主な機能

• 多言語対応：2000以上の言語ラベルをサポートしています。
• 最新バージョンV3：2102のラベル（文字体系付きの3文字ISOコード）をサポートしています。詳細はhttps://github.com/cisnlp/GlotLID/blob/main/languages-v3.mdを参照してください。
• デモ利用可能：huggingfaceでデモを試すことができます。
• 関連情報：リポジトリはgithub、論文はpaper (EMNLP 2023)、問い合わせ先はamir@cis.lmu.deです。

📦 インストール

モデルの使用には、fasttextとhuggingface_hubが必要です。以下のコマンドでインストールできます。

pip install fasttext huggingface_hub

💻 使用例

基本的な使用法

import fasttext
from huggingface_hub import hf_hub_download

# model.binは常に最新バージョン
model_path = hf_hub_download(repo_id="cis-lmu/glotlid", filename="model.bin")
model = fasttext.load_model(model_path)
result = model.predict("Hello, world!")
print(result)

高度な使用法

import fasttext
from huggingface_hub import hf_hub_download

# 特定のバージョンのモデルを使用する場合
model_path = hf_hub_download(repo_id="cis-lmu/glotlid", filename="model_v1.bin")
model = fasttext.load_model(model_path)
result = model.predict("Hello, world!")
print(result)

📄 ライセンス

このモデルはApache License, Version 2.0の下で配布されています。

バージョン情報

リポジトリには常に以前のバージョンのGlotLIDが維持されています。特定のバージョンにアクセスするには、filenameにバージョン番号を追加します。

• v1: model_v1.bin（GlotLIDの論文で導入され、すべての実験で使用されました）
• v2: model_v2.bin（v1の編集版で、より多くの言語をサポートし、ノイズの多いコーパスをクリーニングしています）