Dynamic Tinybert

🚀 Dynamic-TinyBERT

Dynamic-TinyBERTは、質問応答というNLPタスクに対して微調整されたモデルです。SQuAD 1.1データセットを使用して訓練されており、任意の計算予算で推論効率を向上させることができます。

🚀 クイックスタート

Dynamic-TinyBERTは、質問応答タスクに最適化されたNLPモデルです。以下のセクションでは、モデルの詳細、使用方法、性能分析などを紹介します。

✨ 主な機能

• 推論効率の向上: シーケンス長の削減とハイパーパラメータ最適化を利用して、任意の計算予算で推論効率を向上させます。
• 高精度: BERTと同等の性能を発揮し、他の効率的なアプローチよりも優れた精度と速度のトレードオフを達成します。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを使用して利用できます。以下のコマンドでライブラリをインストールできます。

pip install transformers

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("Intel/dynamic_tinybert")
model = AutoModelForQuestionAnswering.from_pretrained("Intel/dynamic_tinybert")

context = "remember the number 123456, I'll ask you later."
question = "What is the number I told you?"

# Tokenize the context and question
tokens = tokenizer.encode_plus(question, context, return_tensors="pt", truncation=True)

# Get the input IDs and attention mask
input_ids = tokens["input_ids"]
attention_mask = tokens["attention_mask"]

# Perform question answering
outputs = model(input_ids, attention_mask=attention_mask)
start_scores = outputs.start_logits
end_scores = outputs.end_logits

# Find the start and end positions of the answer
answer_start = torch.argmax(start_scores)
answer_end = torch.argmax(end_scores) + 1
answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(input_ids[0][answer_start:answer_end]))

# Print the answer
print("Answer:", answer)

📚 ドキュメント

モデル詳細

意図された使用法

要因

メトリクス

訓練と評価データ

モデル性能分析

倫理的な考慮事項

注意事項と推奨事項

ユーザー (直接的なユーザーと下流のユーザーの両方) は、このモデルのリスク、バイアス、および制限事項を認識する必要があります。このモデルに関する追加の注意事項や推奨事項はありません。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

BibTeXエントリと引用情報

@misc{https://doi.org/10.48550/arxiv.2111.09645,
  doi = {10.48550/ARXIV.2111.09645},
  
  url = {https://arxiv.org/abs/2111.09645},
  
  author = {Guskin, Shira and Wasserblat, Moshe and Ding, Ke and Kim, Gyuwan},
  
  keywords = {Computation and Language (cs.CL), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Dynamic-TinyBERT: Boost TinyBERT's Inference Efficiency by Dynamic Sequence Length},
  
  publisher = {arXiv},
  
  year = {2021},