Hubert Fine Tuned Hungarian Squadv2

🚀 huBERT匈牙利語問答模型

這是一個基於huBERT基礎模型在SQuADv2數據集上微調的問答模型，可用於匈牙利語的問答任務，為匈牙利語自然語言處理提供支持。

🚀 快速開始

本模型是在SQuADv2數據集上微調後的huBERT基礎模型（區分大小寫）。以下是使用該模型的快速示例：

from transformers import pipeline
qa_pipeline = pipeline(
    "question-answering",
    model="mcsabai/huBert-fine-tuned-hungarian-squadv2",
    tokenizer="mcsabai/huBert-fine-tuned-hungarian-squadv2",
    topk = 1,
    handle_impossible_answer = True
)
predictions = qa_pipeline({
    'context': "Máté vagyok és Budapesten élek már több mint 4 éve.",
    'question': "Hol lakik Máté?"
})
print(predictions)
# output:
# {'score': 0.9892364144325256, 'start': 16, 'end': 26, 'answer': 'Budapesten'}

✨ 主要特性

• 使用huBERT模型和對應的分詞器，模型和分詞器地址：https://huggingface.co/SZTAKI-HLT/hubert-base-cc 。
• 基於匈牙利語的SQuADv2數據集進行微調，該數據集是通過機器翻譯（Google Translate API）得到的。
• 支持使用transformers庫的pipeline進行快速問答任務。
• 提供兩個重要參數：
  • topk（整數，可選，默認為1）：返回答案的數量（按可能性排序）。如果上下文中可用的選項不足，則返回少於topk的答案。
  • handle_impossible_answer（布爾值，可選，默認為False）：是否接受“無法回答”作為答案。

📚 詳細文檔

模型描述

SQuAD2.0將SQuAD1.1中的100,000個問題與超過50,000個由眾包工作者對抗性編寫的無法回答的問題相結合，這些無法回答的問題看起來與可回答的問題相似。要在SQuAD2.0上表現良好，系統不僅要在可能的情況下回答問題，還要確定段落中是否沒有支持答案的內容並放棄回答。[1]

模型使用示例

上述代碼展示瞭如何使用pipeline進行快速問答。通過設置topk和handle_impossible_answer參數，可以根據具體需求調整問答結果。

[1] https://rajpurkar.github.io/SQuAD-explorer/