Bert Multi Cased Finetuned Xquadv1

🚀 BERT (base-multilingual-cased) 针对多语言问答的微调模型

本模型由 Google 创建，并在类似 XQuAD 的数据集上进行微调，以用于多语言（11 种不同语言）的问答下游任务。该模型能够有效解决多语言环境下的问答需求，为不同语言的用户提供准确的答案。

📚 详细文档

语言模型（'bert-base-multilingual-cased'）详情

语言模型

下游任务（多语言问答）详情 - 数据集

Deepmind XQuAD

涵盖的语言：

• 阿拉伯语：ar
• 德语：de
• 希腊语：el
• 英语：en
• 西班牙语：es
• 印地语：hi
• 俄语：ru
• 泰语：th
• 土耳其语：tr
• 越南语：vi
• 中文：zh

由于该数据集基于 SQuAD v1.1，数据中没有无法回答的问题。我们选择这种设置是为了让模型能够专注于跨语言迁移。

我们在下表中展示了每种语言每个段落、问题和答案的平均标记数。中文使用 Jieba 进行统计，其他语言使用 Moses 分词器 进行统计。

引用：

@article{Artetxe:etal:2019,
      author    = {Mikel Artetxe and Sebastian Ruder and Dani Yogatama},
      title     = {On the cross-lingual transferability of monolingual representations},
      journal   = {CoRR},
      volume    = {abs/1910.11856},
      year      = {2019},
      archivePrefix = {arXiv},
      eprint    = {1910.11856}
}

由于 XQuAD 只是一个评估数据集，我使用了 数据增强技术（网络抓取、神经机器翻译等）来获取更多样本，并对数据集进行分割，以得到训练集和测试集。测试集的创建方式是每种语言包含相同数量的样本。最后，我得到了：

模型训练

该模型在 Tesla P100 GPU 和 25GB 内存上进行训练。 微调脚本可在 此处 找到。

💻 使用示例

基础用法

使用 pipelines 快速使用：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-multi-cased-finetuned-xquadv1",
    tokenizer="mrm8488/bert-multi-cased-finetuned-xquadv1"
)

# context: Coronavirus is seeding panic in the West because it expands so fast.
# question: Where is seeding panic Coronavirus?
qa_pipeline({
    'context': "कोरोनावायरस पश्चिम में आतंक बो रहा है क्योंकि यह इतनी तेजी से फैलता है।",
    'question': "कोरोनावायरस घबराहट कहां है?"
})
# output: {'answer': 'पश्चिम', 'end': 18, 'score': 0.7037217439689059, 'start': 12}

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"
})
# output: {'answer': 'Manuel Romero', 'end': 13, 'score': 0.7254485993702389, 'start': 0}

qa_pipeline({
    'context': "Manuel Romero a travaillé à peine dans le référentiel hugginface / transformers ces derniers temps",
    'question': "Pour quel référentiel a travaillé Manuel Romero récemment?"
})
# output: {'answer': 'hugginface / transformers', 'end': 79, 'score': 0.6482061613915384, 'start': 54}

你可以在 Colab 中尝试：

由 Manuel Romero/@mrm8488 创建

在西班牙用心打造