Bleurt Tiny 512

🚀 bleurt-tiny-512模型卡片

bleurt-tiny-512是ACL論文中原始BLEURT模型的Pytorch版本，可用於文本分類任務。該模型基於BERT，由Google Research團隊開發。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("Elron/bleurt-tiny-512")
model = AutoModelForSequenceClassification.from_pretrained("Elron/bleurt-tiny-512")
model.eval()

references = ["hello world", "hello world"]
candidates = ["hi universe", "bye world"]

with torch.no_grad():
  scores = model(**tokenizer(references, candidates, return_tensors='pt'))[0].squeeze()

print(scores) # tensor([-0.9414, -0.5678])

查看此筆記本獲取模型轉換代碼。

✨ 主要特性

• 基於BERT架構，適用於文本分類任務。
• 提供Pytorch版本，方便使用。

📚 詳細文檔

模型詳情

模型描述

Pytorch版本的原始BLEURT模型，來自ACL論文。

• 開發者：Google Research的Elron Bandel、Thibault Sellam、Dipanjan Das和Ankur P. Parikh。
• 共享者：Elron Bandel。
• 模型類型：文本分類。
• 語言：待補充更多信息。
• 許可證：待補充更多信息。
• 父模型：BERT。
• 更多信息資源：
  • GitHub倉庫
  • 相關論文
  • 博客文章

使用場景

直接使用

該模型可用於文本分類任務。

超出適用範圍的使用

該模型不應用於故意為人們創造敵對或排斥性的環境。

偏差、風險和侷限性

大量研究探討了語言模型的偏差和公平性問題（例如，參見Sheng等人 (2021) 和 Bender等人 (2021)）。該模型生成的預測可能包含針對受保護類別、身份特徵以及敏感、社會和職業群體的令人不安和有害的刻板印象。

建議

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。如需進一步建議，待補充更多信息。

訓練詳情

訓練數據

模型作者在相關論文中指出：

我們使用2017年至2019年WMT指標共享任務的英語言語對。對於每年，我們使用官方WMT測試集，其中包括來自新聞領域的數千對有人工評分的句子。每年的訓練集分別包含5360、9492和147691條記錄。

評估

測試數據、因素和指標

測試數據

2018年和2019年[WMT指標共享任務的英語言語對]的測試集噪聲更大。

環境影響

可以使用Lacoste等人 (2019) 中提出的機器學習影響計算器來估算碳排放。

• 硬件類型：待補充更多信息。
• 使用時長：待補充更多信息。
• 雲服務提供商：待補充更多信息。
• 計算區域：待補充更多信息。
• 碳排放：待補充更多信息。

引用

@inproceedings{sellam2020bleurt,
  title = {BLEURT: Learning Robust Metrics for Text Generation},
  author = {Thibault Sellam and Dipanjan Das and Ankur P Parikh},
  year = {2020},
  booktitle = {Proceedings of ACL}
}

模型卡片作者

Elron Bandel與Ezi Ozoani和Hugging Face團隊合作完成。