Openlid V2

🚀 OpenLID-v2

OpenLID-v2是一个高覆盖率、高性能的语言识别模型，可有效解决文本语言识别问题，为自然语言处理相关任务提供准确的语言分类支持。

🚀 快速开始

模型使用

以下是如何使用此模型检测给定文本的语言。为获得最佳效果，在分类之前，应使用 openlid_normer.clean_line 对文本进行清理和规范化。

>>> import fasttext
>>> from openlid_normer import clean_line
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="laurievb/OpenLID-v2", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> input_text = clean_line("Hello, world!")
>>> model.predict(input_text)

(('__label__eng_Latn',), array([0.81148803]))

>>> # 未清理时 eng_Latn 的分数较低
>>> model.predict("Hello, world!", k=5)  

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

✨ 主要特性

• 高覆盖率：能够识别多种语言变体。
• 高性能：在语言识别任务中表现出色。

📦 安装指南

文档未提及安装步骤，可参考相关依赖库（如 fasttext、huggingface_hub 等）的官方文档进行安装。

💻 使用示例

基础用法

>>> import fasttext
>>> from openlid_normer import clean_line
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="laurievb/OpenLID-v2", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> input_text = clean_line("Hello, world!")
>>> model.predict(input_text)

(('__label__eng_Latn',), array([0.81148803]))

高级用法

>>> # 未清理时 eng_Latn 的分数较低
>>> model.predict("Hello, world!", k=5)  

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

📚 详细文档

模型描述

OpenLID-v2是一个高覆盖率、高性能的语言识别模型，它是 OpenLID 的改进版本。

原始模型和训练数据在 Burchell et al. (2023) 中有描述。生成 OpenLID-v2 所做的更改在 OpenLID-v2 数据集仓库 中有描述。

局限性和偏差

• 数据集和模型涵盖了200种语言变体。然而，一些语言变体（如阿拉伯语方言）很难区分，实际上，可能只能在宏观语言层面上对输入进行分类。
• FLORES+ 测试集由来自单一领域（维基文章）的句子组成，因此该测试集上的性能可能无法反映我们的分类器在其他领域的工作效果。
• 我们的工作旨在通过允许从业者识别更多语言的相关数据来扩大自然语言处理的覆盖范围。然而，我们注意到语言识别本质上是一种规范性活动，存在将少数方言、文字系统或整个微观语言排除在宏观语言之外的风险。选择涵盖哪些语言可能会加剧权力不平衡，因为只有部分群体能够使用自然语言处理技术。此外，语言识别中的错误可能会对下游性能产生重大影响，特别是当系统被用作“黑盒”时（这种情况很常见）。我们的分类器在不同语言上的性能并不相同，这可能会导致特定群体的下游性能更差。我们通过按类别提供指标来缓解这一问题。

训练数据

该模型在 OpenLID-v2 数据集 上进行训练。在训练之前，数据进行了规范化处理，并使用温度采样对类别进行了上/下采样；相关代码可以在 OpenLID-v2 数据集仓库的 scripts 目录 中找到。

训练过程

该模型使用 fastText 进行训练，并设置了以下超参数。所有其他超参数均设置为默认值。

• 损失函数：softmax
• 训练轮数：2
• 学习率：0.8
• 单词最小出现次数：1000
• 嵌入维度：256
• 字符 n-gram：2 - 5
• 单词 n-gram：1
• 桶大小：1,000,000
• 线程数：68

评估数据集

我们使用 FLORES+ 评估基准 对模型进行评估，在分类之前使用 openlid_normer.clean_line 对文本进行规范化处理。完整结果如下所示。

原始的 OpenLID 模型使用 Costa-jussà 等人（2022）提供的 FLORES-200 基准进行评估，更多信息可在 OpenLID 论文 中找到。

BibTeX 条目和引用信息

ACL 引用（推荐）

@inproceedings{burchell-etal-2023-open,
    title = "An Open Dataset and Model for Language Identification",
    author = "Burchell, Laurie  and
      Birch, Alexandra  and
      Bogoychev, Nikolay  and
      Heafield, Kenneth",
    editor = "Rogers, Anna  and
      Boyd-Graber, Jordan  and
      Okazaki, Naoaki",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-short.75",
    doi = "10.18653/v1/2023.acl-short.75",
    pages = "865--879",
    abstract = "Language identification (LID) is a fundamental step in many natural language processing pipelines. However, current LID systems are far from perfect, particularly on lower-resource languages. We present a LID model which achieves a macro-average F1 score of 0.93 and a false positive rate of 0.033{\%} across 201 languages, outperforming previous work. We achieve this by training on a curated dataset of monolingual data, which we audit manually to ensure reliability. We make both the model and the dataset available to the research community. Finally, we carry out detailed analysis into our model{'}s performance, both in comparison to existing open models and by language class.",
}

评估结果

🔧 技术细节

该模型使用 fastText 进行训练，并设置了以下超参数。所有其他超参数均设置为默认值。

• 损失函数：softmax
• 训练轮数：2
• 学习率：0.8
• 单词最小出现次数：1000
• 嵌入维度：256
• 字符 n-gram：2 - 5
• 单词 n-gram：1
• 桶大小：1,000,000
• 线程数：68

📄 许可证

本项目采用 GPL-3.0 许可证。

其他信息