Bert Base Uncased Squad V1 Sparse0.25

🚀 BERT-base無大小寫區分模型在SQuAD v1上微調

本模型是基於SQuAD v1數據集對BERT-base無大小寫區分模型進行微調得到的。它採用了塊稀疏技術，在合適的運行時環境下，其運行速度大約是密集網絡的3倍，僅使用原始權重的25%。當然，這對模型的準確率會有一定影響（詳見下文）。該模型使用了Victor Sanh改進版的移動剪枝方法。此模型是在HuggingFace的BERT基礎無大小寫區分檢查點上，基於SQuAD1.1數據集進行微調的，並且不區分大小寫，例如“english”和“English”對它來說是一樣的。

✨ 主要特性

• 塊稀疏技術：運行速度更快，使用更少的權重。
• 大小寫不敏感：處理文本時不區分大小寫。

📚 詳細文檔

數據集詳情

微調信息

• Python版本：3.8.5
• 機器配置：
  • CPU：Intel(R) Core(TM) i7 - 6700K CPU
  • 內存：64 GiB
  • GPU：1塊GeForce GTX 3090，顯存24GiB
  • GPU驅動：455.23.05，CUDA版本：11.1

模型結果

模型大小：418M

請注意，上述結果未進行任何超參數搜索。

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad-v1-sparse0.25",
    tokenizer="madlag/bert-base-uncased-squad-v1-sparse0.25"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📄 許可證

本模型採用MIT許可證。