Openlid V2

🚀 OpenLID-v2

OpenLID-v2是一個高覆蓋率、高性能的語言識別模型，可有效解決文本語言識別問題，為自然語言處理相關任務提供準確的語言分類支持。

🚀 快速開始

模型使用

以下是如何使用此模型檢測給定文本的語言。為獲得最佳效果，在分類之前，應使用 openlid_normer.clean_line 對文本進行清理和規範化。

>>> import fasttext
>>> from openlid_normer import clean_line
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="laurievb/OpenLID-v2", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> input_text = clean_line("Hello, world!")
>>> model.predict(input_text)

(('__label__eng_Latn',), array([0.81148803]))

>>> # 未清理時 eng_Latn 的分數較低
>>> model.predict("Hello, world!", k=5)  

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

✨ 主要特性

• 高覆蓋率：能夠識別多種語言變體。
• 高性能：在語言識別任務中表現出色。

📦 安裝指南

文檔未提及安裝步驟，可參考相關依賴庫（如 fasttext、huggingface_hub 等）的官方文檔進行安裝。

💻 使用示例

基礎用法

>>> import fasttext
>>> from openlid_normer import clean_line
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="laurievb/OpenLID-v2", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> input_text = clean_line("Hello, world!")
>>> model.predict(input_text)

(('__label__eng_Latn',), array([0.81148803]))

高級用法

>>> # 未清理時 eng_Latn 的分數較低
>>> model.predict("Hello, world!", k=5)  

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

📚 詳細文檔

模型描述

OpenLID-v2是一個高覆蓋率、高性能的語言識別模型，它是 OpenLID 的改進版本。

原始模型和訓練數據在 Burchell et al. (2023) 中有描述。生成 OpenLID-v2 所做的更改在 OpenLID-v2 數據集倉庫 中有描述。

侷限性和偏差

• 數據集和模型涵蓋了200種語言變體。然而，一些語言變體（如阿拉伯語方言）很難區分，實際上，可能只能在宏觀語言層面上對輸入進行分類。
• FLORES+ 測試集由來自單一領域（維基文章）的句子組成，因此該測試集上的性能可能無法反映我們的分類器在其他領域的工作效果。
• 我們的工作旨在通過允許從業者識別更多語言的相關數據來擴大自然語言處理的覆蓋範圍。然而，我們注意到語言識別本質上是一種規範性活動，存在將少數方言、文字系統或整個微觀語言排除在宏觀語言之外的風險。選擇涵蓋哪些語言可能會加劇權力不平衡，因為只有部分群體能夠使用自然語言處理技術。此外，語言識別中的錯誤可能會對下游性能產生重大影響，特別是當系統被用作“黑盒”時（這種情況很常見）。我們的分類器在不同語言上的性能並不相同，這可能會導致特定群體的下游性能更差。我們通過按類別提供指標來緩解這一問題。

訓練數據

該模型在 OpenLID-v2 數據集 上進行訓練。在訓練之前，數據進行了規範化處理，並使用溫度採樣對類別進行了上/下采樣；相關代碼可以在 OpenLID-v2 數據集倉庫的 scripts 目錄 中找到。

訓練過程

該模型使用 fastText 進行訓練，並設置了以下超參數。所有其他超參數均設置為默認值。

• 損失函數：softmax
• 訓練輪數：2
• 學習率：0.8
• 單詞最小出現次數：1000
• 嵌入維度：256
• 字符 n-gram：2 - 5
• 單詞 n-gram：1
• 桶大小：1,000,000
• 線程數：68

評估數據集

我們使用 FLORES+ 評估基準 對模型進行評估，在分類之前使用 openlid_normer.clean_line 對文本進行規範化處理。完整結果如下所示。

原始的 OpenLID 模型使用 Costa-jussà 等人（2022）提供的 FLORES-200 基準進行評估，更多信息可在 OpenLID 論文 中找到。

BibTeX 條目和引用信息

ACL 引用（推薦）

@inproceedings{burchell-etal-2023-open,
    title = "An Open Dataset and Model for Language Identification",
    author = "Burchell, Laurie  and
      Birch, Alexandra  and
      Bogoychev, Nikolay  and
      Heafield, Kenneth",
    editor = "Rogers, Anna  and
      Boyd-Graber, Jordan  and
      Okazaki, Naoaki",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-short.75",
    doi = "10.18653/v1/2023.acl-short.75",
    pages = "865--879",
    abstract = "Language identification (LID) is a fundamental step in many natural language processing pipelines. However, current LID systems are far from perfect, particularly on lower-resource languages. We present a LID model which achieves a macro-average F1 score of 0.93 and a false positive rate of 0.033{\%} across 201 languages, outperforming previous work. We achieve this by training on a curated dataset of monolingual data, which we audit manually to ensure reliability. We make both the model and the dataset available to the research community. Finally, we carry out detailed analysis into our model{'}s performance, both in comparison to existing open models and by language class.",
}

評估結果

🔧 技術細節

該模型使用 fastText 進行訓練，並設置了以下超參數。所有其他超參數均設置為默認值。

• 損失函數：softmax
• 訓練輪數：2
• 學習率：0.8
• 單詞最小出現次數：1000
• 嵌入維度：256
• 字符 n-gram：2 - 5
• 單詞 n-gram：1
• 桶大小：1,000,000
• 線程數：68

📄 許可證

本項目採用 GPL-3.0 許可證。

其他信息