Bert Base Cased Ag News

🚀 bert-base-cased-ag-news

本项目是一个基于BERT的模型，在AG新闻分类数据集上进行了微调。通过在[CLS]标记输出之上添加一个线性层，该模型在测试中取得了0.945的准确率，可有效用于新闻文本的分类任务。

🚀 快速开始

本模型可用于对给定文本进行分类，以下是使用示例：

from transformers import AutoTokenizer, BertForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained('lucasresck/bert-base-cased-ag-news')
model = BertForSequenceClassification.from_pretrained('lucasresck/bert-base-cased-ag-news')
text = "Is it soccer or football?"
encoded_input = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)
output = model(**encoded_input)

💻 使用示例

基础用法

from transformers import AutoTokenizer, BertForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained('lucasresck/bert-base-cased-ag-news')
model = BertForSequenceClassification.from_pretrained('lucasresck/bert-base-cased-ag-news')
text = "Is it soccer or football?"
encoded_input = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)
output = model(**encoded_input)

🔧 技术细节

本模型未对偏差进行评估，但考虑到预训练的BERT模型已知存在偏差，因此该模型也可能存在偏差。BERT的作者表示：“这种偏差也将影响该模型的所有微调版本。”

📚 详细文档

评估结果

              precision    recall  f1-score   support

           0     0.9539    0.9584    0.9562      1900
           1     0.9884    0.9879    0.9882      1900
           2     0.9251    0.9095    0.9172      1900
           3     0.9127    0.9242    0.9184      1900

    accuracy                         0.9450      7600
   macro avg     0.9450    0.9450    0.9450      7600
weighted avg     0.9450    0.9450    0.9450      7600

📄 许可证

本项目采用MIT许可证。

📦 信息表格