Mamba Nli Ensemble

🚀 11128093 - 11066053 - nliのモデルカード

このモデルは、Mamba状態空間モデルを使用して、提供されたCOMP34812データセットでファインチューニングされた二値の自然言語推論分類器です。

🚀 クイックスタート

このモデルは、二値の自然言語推論（NLI）タスクに特化しており、前提と仮説のペアが含意関係にあるかどうかを判断します。以下のセクションでは、モデルの詳細、トレーニング情報、評価結果などを説明します。

✨ 主な機能

• 二値の自然言語推論（NLI）タスクに対応。
• Mamba状態空間モデルをベースに構築。
• COMP34812データセットでファインチューニングされている。

📚 ドキュメント

モデルの詳細

モデルの説明

このモデルは、state - spaces/mamba - 130mアーキテクチャを拡張して、二値のNLIタスク（含意 vs. 非含意）に対応させたものです。カスタムの分類ヘッドを使用し、COMP34812 NLIデータセットでファインチューニングされています。

• 開発者: Patrick Mermelstein LyonsとDev Soneji
• 言語: 英語
• モデルのタイプ: 教師あり学習
• モデルのアーキテクチャ: 非Transformer（選択的状態空間）
• ファインチューニング元のモデル [オプション]: state - spaces/mamba - 130m

モデルのリソース

• リポジトリ: https://huggingface.co/state-spaces/mamba-130m
• 論文またはドキュメント: https://arxiv.org/pdf/2312.00752.pdf

トレーニングの詳細

トレーニングデータ

COMP34812 NLIトレーニングデータセット（非公開のタスク固有のデータセット）。24.4K組の前提と仮説のペアがあり、それぞれに二値の含意ラベルが付けられています。

トレーニング手順

トレーニングハイパーパラメータ

• learning_rate: 5e - 5
• train_batch_size: 4
• eval_batch_size: 16
• num_train_epochs: 5
• lr_scheduler_type: cosine
• warmup_ratio: 0.1

速度、サイズ、時間

• 総トレーニング時間: 1時間17分
• エポック数: 5
• モデルサイズ: ~500MB

評価

テストデータとメトリクス

テストデータ

COMP34812 NLI開発データセット（非公開のタスク固有のデータセット）。6.7K組の前提と仮説のペアがあり、それぞれに二値の含意ラベルが付けられています。

メトリクス

• 正解率 (Accuracy)
• マシューズ相関係数 (Matthews Correlation Coefficient, MCC)

結果

このモデルは、正解率82.4%、MCC 0.649を達成しました。

技術仕様

ハードウェア

• GPU: NVIDIA T4 (Google Colab)
• VRAM: 15.0 GB
• RAM: 12.7 GB
• ディスク: モデルとデータに2 GB

ソフトウェア

• Python 3.10+
• PyTorch
• HuggingFace Transformers
• mamba - ssm
• datasets, evaluate, accelerate

バイアス、リスク、制限事項

このモデルは二値の含意検出に限定されており、COMP34812データセットのみでトレーニングされています。このデータセット以外での汎化能力はテストされていません。128トークンより長い文ペアは切り捨てられます。

追加情報

モデルのチェックポイントとトークナイザは、https://huggingface.co/patrickmlml/mamba_nli_ensemble で入手できます。ハイパーパラメータは、参照文献を参考に決定されました。

📄 ライセンス

このモデルはCC - BY - 4.0ライセンスの下で提供されています。