Dynamic Tinybert

🚀 動態TinyBERT：通過動態序列長度提升TinyBERT的推理效率

動態TinyBERT針對問答這一自然語言處理任務進行了微調，在SQuAD 1.1數據集上進行訓練。Guskin等人 (2021) 指出：

動態TinyBERT是一個TinyBERT模型，它利用序列長度縮減和超參數優化，在任何計算預算下提高推理效率。動態TinyBERT只需訓練一次，性能與BERT相當，並且在準確率 - 速度權衡方面優於其他任何高效方法（最高可達3.3倍加速，損失下降小於1%）。

✨ 主要特性

• 針對問答任務進行微調，在SQuAD 1.1數據集上訓練。
• 利用序列長度縮減和超參數優化提升推理效率。
• 只需訓練一次，性能與BERT相當，且在準確率 - 速度權衡方面表現出色。

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("Intel/dynamic_tinybert")
model = AutoModelForQuestionAnswering.from_pretrained("Intel/dynamic_tinybert")

context = "remember the number 123456, I'll ask you later."
question = "What is the number I told you?"

# Tokenize the context and question
tokens = tokenizer.encode_plus(question, context, return_tensors="pt", truncation=True)

# Get the input IDs and attention mask
input_ids = tokens["input_ids"]
attention_mask = tokens["attention_mask"]

# Perform question answering
outputs = model(input_ids, attention_mask=attention_mask)
start_scores = outputs.start_logits
end_scores = outputs.end_logits

# Find the start and end positions of the answer
answer_start = torch.argmax(start_scores)
answer_end = torch.argmax(end_scores) + 1
answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(input_ids[0][answer_start:answer_end]))

# Print the answer
print("Answer:", answer)

📚 詳細文檔

模型詳情

預期用途

影響因素

指標

訓練和評估數據

模型性能分析

倫理考量

注意事項和建議

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。該模型沒有額外的注意事項或建議。

🔧 技術細節

文檔未提供足夠詳細的技術實現細節，暫不提供。

📄 許可證

本模型使用Apache 2.0許可證。

BibTeX引用

@misc{https://doi.org/10.48550/arxiv.2111.09645,
  doi = {10.48550/ARXIV.2111.09645},
  
  url = {https://arxiv.org/abs/2111.09645},
  
  author = {Guskin, Shira and Wasserblat, Moshe and Ding, Ke and Kim, Gyuwan},
  
  keywords = {Computation and Language (cs.CL), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Dynamic-TinyBERT: Boost TinyBERT's Inference Efficiency by Dynamic Sequence Length},
  
  publisher = {arXiv},
  
  year = {2021},