🚀 deberta-v3-large_boolq
本模型是 microsoft/deberta-v3-large 在 boolq 数据集上的微调版本。它在评估集上取得了如下结果:
🚀 快速开始
本模型是 microsoft/deberta-v3-large 在 boolq 数据集上进行微调得到的。在评估集上,它展现出了良好的性能,损失值为 0.4601,准确率达到了 0.8835。
💻 使用示例
基础用法
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model = AutoModelForSequenceClassification.from_pretrained("nfliu/deberta-v3-large_boolq")
tokenizer = AutoTokenizer.from_pretrained("nfliu/deberta-v3-large_boolq")
examples = [
("Lake Tahoe is in California", "Lake Tahoe is a popular tourist spot in California."),
("Water is wet", "Contrary to popular belief, water is not wet.")
]
encoded_input = tokenizer(examples, padding=True, truncation=True, return_tensors="pt")
with torch.no_grad():
model_output = model(**encoded_input)
probabilities = torch.softmax(model_output.logits, dim=-1).cpu().tolist()
probability_no = [round(prob[0], 2) for prob in probabilities]
probability_yes = [round(prob[1], 2) for prob in probabilities]
for example, p_no, p_yes in zip(examples, probability_no, probability_yes):
print(f"Question: {example[0]}")
print(f"Context: {example[1]}")
print(f"p(No | question, context): {p_no}")
print(f"p(Yes | question, context): {p_yes}")
print()
🔧 技术细节
训练超参数
训练过程中使用了以下超参数:
- 学习率:1e-05
- 训练批次大小:16
- 评估批次大小:8
- 随机种子:42
- 梯度累积步数:2
- 总训练批次大小:32
- 优化器:Adam(β1=0.9,β2=0.999,ε=1e-08)
- 学习率调度器类型:线性
- 训练轮数:5.0
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
准确率 |
无日志 |
0.85 |
250 |
0.5306 |
0.8823 |
0.1151 |
1.69 |
500 |
0.4601 |
0.8835 |
0.1151 |
2.54 |
750 |
0.5897 |
0.8792 |
0.0656 |
3.39 |
1000 |
0.6477 |
0.8804 |
0.0656 |
4.24 |
1250 |
0.6847 |
0.8838 |
框架版本
- Transformers 4.32.1
- Pytorch 2.0.1+cu117
- Datasets 2.14.4
- Tokenizers 0.13.3
📄 许可证
本模型采用 MIT 许可证。
📦 模型信息
属性 |
详情 |
模型类型 |
微调后的 deberta-v3-large 模型 |
训练数据 |
boolq 数据集 |
评估指标 |
准确率 |