Reddit Tc Bert

🚀 bert-uncased-base

本模型是 bert-base-uncased 在Reddit對話數據集上的微調版本。它可用於文本分類任務，即判斷給定的兩個句子是否相關。該模型在評估集上取得了以下成績：

• 損失率：0.2297
• 準確率：0.9267

🚀 快速開始

本模型是在Reddit對話數據集上對 bert-base-uncased 進行微調得到的。它可用於文本分類，通過輸入兩個句子，判斷它們是否相關。

✨ 主要特性

• 文本分類能力：能夠判斷兩個句子是否相關。
• 良好的評估指標：在評估集上損失率為 0.2297，準確率達到 0.9267。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

# label_list
label_list = ['matched', 'unmatched']

# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained("Fan-s/reddit-tc-bert", use_fast=True)
model = AutoModelForSequenceClassification.from_pretrained("Fan-s/reddit-tc-bert") 

# Set the input
post = "don't make gravy with asbestos."
response = "i'd expect someone with a culinary background to know that. since we're talking about school dinner ladies, they need to learn this pronto."

# Predict whether the two sentences are matched 
def predict(post, response, max_seq_length=128):
    with torch.no_grad():
        args =  (post, response)
        input = tokenizer(*args, padding="max_length", max_length=max_seq_length, truncation=True, return_tensors="pt")
        output = model(**input)
        logits = output.logits
        item = torch.argmax(logits, dim=1)
        predict_label = label_list[item]
        return predict_label, logits
         
predict_label, logits = predict(post, response)
# Matched
print("predict_label:", predict_label)

📚 詳細文檔

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：2e-05
• 訓練批次大小：320
• 評估批次大小：80
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型：線性
• 訓練輪數：5.0

框架版本

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.0
• Tokenizers 0.11.0

📄 許可證

本項目採用 Apache-2.0 許可證。