Qamembert

🚀 QAmembert

QAmembert 是基于 CamemBERT base 微调的模型，用于法语问答任务。它在多个法语问答数据集上进行训练，能有效处理上下文中有答案和无答案的问答情况。

🚀 快速开始

环境准备

确保你已经安装了 transformers 库，可使用以下命令进行安装：

pip install transformers

代码示例

以下是使用 QAmembert 进行问答的示例代码：

from transformers import pipeline

qa = pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')

result = qa({
    'question': "Combien de personnes utilisent le français tous les jours ?",
    'context': "Le français est une langue indo-européenne de la famille des langues romanes dont les locuteurs sont appelés francophones. Elle est parfois surnommée la langue de Molière.  Le français est parlé, en 2023, sur tous les continents par environ 321 millions de personnes : 235 millions l'emploient quotidiennement et 90 millions en sont des locuteurs natifs. En 2018, 80 millions d'élèves et étudiants s'instruisent en français dans le monde. Selon l'Organisation internationale de la francophonie (OIF), il pourrait y avoir 700 millions de francophones sur Terre en 2050."
})

if result['score'] < 0.01:
    print("La réponse n'est pas dans le contexte fourni.")
else :
    print(result['answer'])

✨ 主要特性

• 多数据集训练：基于四个法语问答数据集进行微调，涵盖了 SQuAD 1.0 和 SQuAD 2.0 格式的数据，训练数据丰富。
• 处理不同格式：能够处理上下文中有答案和无答案的问答情况，具有较强的适应性。
• 评估指标良好：在多个评估数据集上表现良好，如 FQuAD 1.0、qwant/squad_fr 和 frenchQA 等。

📦 数据集

所有这些数据集被合并为一个名为 frenchQA 的单一数据集。

📚 评估结果

评估使用了 evaluate Python 包进行。

FQuaD 1.0（验证集）

使用的评估指标为 SQuAD 1.0。

qwant/squad_fr（验证集）

使用的评估指标为 SQuAD 1.0。

frenchQA

该数据集包含上下文中无答案的问题。使用的评估指标为 SQuAD 2.0。

💻 使用示例

基础用法

以下是上下文中有答案的示例：

from transformers import pipeline

qa = pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')

result = qa({
    'question': "Combien de personnes utilisent le français tous les jours ?",
    'context': "Le français est une langue indo-européenne de la famille des langues romanes dont les locuteurs sont appelés francophones. Elle est parfois surnommée la langue de Molière.  Le français est parlé, en 2023, sur tous les continents par environ 321 millions de personnes : 235 millions l'emploient quotidiennement et 90 millions en sont des locuteurs natifs. En 2018, 80 millions d'élèves et étudiants s'instruisent en français dans le monde. Selon l'Organisation internationale de la francophonie (OIF), il pourrait y avoir 700 millions de francophones sur Terre en 2050."
})

if result['score'] < 0.01:
    print("La réponse n'est pas dans le contexte fourni.")
else :
    print(result['answer'])

235 millions

# 详细信息
result
{'score': 0.9945194721221924,
 'start': 269,
 'end': 281,
 'answer': '235 millions'}

高级用法

以下是上下文中无答案的示例：

from transformers import pipeline

qa = pipeline('question-answering', model='CATIE-AQ/QAmembert', tokenizer='CATIE-AQ/QAmembert')

result = qa({
    'question': "Quel est le meilleur vin du monde ?",
    'context': "La tour Eiffel est une tour de fer puddlé de 330 m de hauteur (avec antennes) située à Paris, à l’extrémité nord-ouest du parc du Champ-de-Mars en bordure de la Seine dans le 7e arrondissement. Son adresse officielle est 5, avenue Anatole-France.  
Construite en deux ans par Gustave Eiffel et ses collaborateurs pour l'Exposition universelle de Paris de 1889, célébrant le centenaire de la Révolution française, et initialement nommée « tour de 300 mètres », elle est devenue le symbole de la capitale française et un site touristique de premier plan : il s’agit du quatrième site culturel français payant le plus visité en 2016, avec 5,9 millions de visiteurs. Depuis son ouverture au public, elle a accueilli plus de 300 millions de visiteurs."
})

if result['score'] < 0.01:
    print("La réponse n'est pas dans le contexte fourni.")
else :
    print(result['answer'])

La réponse n'est pas dans le contexte fourni.

# 详细信息
result
{'score': 3.619904940035945e-13,
 'start': 734,
 'end': 744,
 'answer': 'visiteurs.'}

通过 Space 进行测试

可以通过 这里 的 Space 来测试该模型。

🔧 技术细节

本模型基于 CamemBERT base 进行微调，使用了四个法语问答数据集。所有数据集被合并为一个名为 frenchQA 的单一数据集，共使用了超过 221,348 个上下文/问题/答案三元组进行微调，6,376 个进行测试。具体方法可参考 英文博客 或 法文博客。

🌱 环境影响

碳排放量使用 机器学习影响计算器 进行估算，该计算器基于 Lacoste 等人 (2019) 的研究。使用硬件、运行时间、云服务提供商和计算区域来估算碳影响。

• 硬件类型：A100 PCIe 40/80GB
• 使用时长：5 小时 36 分钟
• 云服务提供商：私有基础设施
• 碳效率（kg/kWh）：0.076kg（根据 electricitymaps 估算；由于无法获取训练当天的数据，我们采用了 2023 年 3 月法国的平均碳强度。）
• 碳排放 （功耗 x 时间 x 基于电网位置的碳排放量）：0.1 kg 二氧化碳当量

📚 引用

QAmemBERT

@misc {qamembert2023,  
    author       = { {ALBAR, Boris and BEDU, Pierre and BOURDOIS, Loïck} },  
    organization  = { {Centre Aquitain des Technologies de l'Information et Electroniques} },  
    title        = { QAmembert (Revision 9685bc3) },  
    year         = 2023,  
    url          = { https://huggingface.co/CATIE-AQ/QAmembert},  
    doi          = { 10.57967/hf/0821 },  
    publisher    = { Hugging Face }  
}

PIAF

@inproceedings{KeraronLBAMSSS20,
  author    = {Rachel Keraron and
               Guillaume Lancrenon and
               Mathilde Bras and
               Fr{\'{e}}d{\'{e}}ric Allary and
               Gilles Moyse and
               Thomas Scialom and
               Edmundo{-}Pavel Soriano{-}Morales and
               Jacopo Staiano},
  title     = {Project {PIAF:} Building a Native French Question-Answering Dataset},
  booktitle = {{LREC}},
  pages     = {5481--5490},
  publisher = {European Language Resources Association},
  year      = {2020}
}

FQuAD

@article{dHoffschmidt2020FQuADFQ,
  title={FQuAD: French Question Answering Dataset},
  author={Martin d'Hoffschmidt and Maxime Vidal and Wacim Belblidia and Tom Brendl'e and Quentin Heinrich},
  journal={ArXiv},
  year={2020},
  volume={abs/2002.06071}
}

lincoln/newsquadfr

Hugging Face repository: https://hf.co/datasets/lincoln/newsquadfr

pragnakalp/squad_v2_french_translated

Hugging Face repository: https://hf.co/datasets/pragnakalp/squad_v2_french_translated

CamemBERT

@inproceedings{martin2020camembert,
  title={CamemBERT: a Tasty French Language Model},
  author={Martin, Louis and Muller, Benjamin and Su{\'a}rez, Pedro Javier Ortiz and Dupont, Yoann and Romary, Laurent and de la Clergerie, {\'E}ric Villemonte and Seddah, Djam{\'e} and Sagot, Beno{\^\i}t},
  booktitle={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},
  year={2020}
}

📄 许可证

本项目采用 MIT 许可证。