Bart MNLI CNN News

🚀 Huggingfaceモデル: BART-MNLI-ZeroShot-Text-Classification

これは、BART - MNLIを使用してCNNニュースデータセットでゼロショットテキスト分類タスク用にファインチューニングされたHuggingfaceモデルです。このモデルは、最大長128トークンのCNNテストデータセットで94％のF1スコアと94％の精度を達成しました。

✨ 主な機能

• ゼロショットテキスト分類タスクに使用できます。
• CNNニュース記事に対して高いF1スコアと精度を達成しています。

📦 インストール

このモデルはHuggingface Transformersライブラリを通じてアクセスできます。必要な依存関係をインストールすることで使用可能です。

💻 使用例

基本的な使用法

from transformers import pipeline, AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("AyoubChLin/Bart-MNLI-CNN_news")

model = AutoModelForSequenceClassification.from_pretrained("AyoubChLin/Bart-MNLI-CNN_news")
classifier = pipeline(
    "zero-shot-classification",
    model=model,
    tokenizer=tokenizer,
    device=0
)

📚 ドキュメント

著者

この作品は、CHERGUELAINE Ayoub と BOUBEKRI Faycal によって行われました。

オリジナルモデル

facebook/bart-large-mnli

モデルアーキテクチャ

BART - Large - MNLIモデルは、12のトランスフォーマーレイヤー、1024の隠れサイズ、および4億600万のパラメータを持っています。これは、英語のWikipediaとBookCorpusデータセットで事前学習され、Multi - Genre Natural Language Inference (MNLI)タスクでファインチューニングされています。

データセット

モデルのファインチューニングにはCNNニュースデータセットが使用されました。このデータセットにはCNNウェブサイトのニュース記事が含まれており、政治、健康、エンターテインメント、テクノロジー、旅行、世界、スポーツなどの6つのカテゴリにラベル付けされています。

ファインチューニングパラメータ

モデルは、最大長256トークンで1エポック分ファインチューニングされました。トレーニングには約6時間かかりました。

評価指標

モデルは、最大長128トークンのCNNテストデータセットで94％のF1スコアと94％の精度を達成しました。

情報テーブル

🔧 技術詳細

BART - Large - MNLIモデルは、12のトランスフォーマーレイヤー、1024の隠れサイズ、および4億600万のパラメータを持っています。事前学習では英語のWikipediaとBookCorpusデータセットを使用し、MNLIタスクでファインチューニングされました。ファインチューニングにはCNNニュースデータセットを使用し、1エポック分、最大長256トークンで行われました。

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。

謝辞

Huggingfaceチームのトランスフォーマーモデルのオープンソース実装と、ファインチューニング用のラベル付きデータセットを提供してくれたCNNニュースデータセットに感謝します。