Pd Robert

🚀 ファインチューニングされたRoBERTaによるパラフレーズ検出モデルカード

このモデルは、パラフレーズ検出のためにファインチューニングされたRoBERTa-baseのバージョンです。4つのベンチマークデータセット（MRPC、QQP、PAWS-X、およびPIT）で学習されています。このモデルは、重複コンテンツ検出、質問応答、および意味的類似性分析などのアプリケーションに適しており、様々な言語構造に対して高い性能を発揮します。

• 開発者: Viswadarshan R R
• モデルタイプ: Transformerベースの文ペア分類器
• 言語: 英語
• ファインチューニング元: FacebookAI/roberta-base

モデルのソース

• リポジトリ: Hugging Face Model Hub
• 研究論文: Comparative Insights into Modern Architectures for Paraphrase Detection (ICCIDS 2025で受理)
• デモ: (デプロイ時に追加予定)

🚀 クイックスタート

モデルを使用するには、transformersをインストールし、以下のようにファインチューニングされたモデルをロードします。

from transformers import AutoTokenizer, AutoModelForSequenceClassification

# トークナイザーとモデルをロード
model_path = "viswadarshan06/pd-robert"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSequenceClassification.from_pretrained(model_path)

# 文ペアをエンコード
inputs = tokenizer("The car is fast.", "The vehicle moves quickly.", return_tensors="pt", padding=True, truncation=True)

# 予測を取得
outputs = model(**inputs)
logits = outputs.logits
predicted_class = logits.argmax().item()

print("Paraphrase" if predicted_class == 1 else "Not a Paraphrase")

✨ 主な機能

直接的な利用

• FAQやカスタマーサポートにおける重複質問の識別。
• 情報検索システムにおける意味的検索の改善。
• 文書の重複排除とコンテンツモデレーションの強化。

下流の利用

このモデルは、特定ドメインのパラフレーズデータセット（例：医療、法律、または金融）でさらにファインチューニングすることができます。

想定外の利用

• このモデルは英語のデータセットのみで学習されているため、多言語のパラフレーズ検出には適していません。
• 追加のファインチューニングなしでは、低リソース言語では性能が低下する可能性があります。

🔧 技術詳細

バイアス、リスク、および制限事項

既知の制限事項

• 慣用表現に苦戦する: このモデルは比喩的な言語におけるパラフレーズを検出するのが困難です。
• 文脈的な曖昧さ: 文が深い文脈的な推論を必要とする場合、失敗する可能性があります。

推奨事項

ユーザーは、実世界のアプリケーションでの汎化能力を向上させるために、追加の文化的および慣用的なデータセットでモデルをファインチューニングすることを推奨します。

学習詳細

このモデルは、4つのデータセットを組み合わせて学習されました。

• MRPC: ニュースベースのパラフレーズ。
• QQP: 重複質問の検出。
• PAWS-X: ロバスト性テストのための敵対的パラフレーズ。
• PIT: 短いテキストのパラフレーズデータセット。

学習手順

• トークナイザー: RobertaTokenizer
• バッチサイズ: 16
• オプティマイザー: AdamW
• 損失関数: 交差エントロピー

学習ハイパーパラメータ

• 学習率: 2e-5
• シーケンス長:
  • MRPC: 256
  • QQP: 336
  • PIT: 64
  • PAWS-X: 256

速度、サイズ、時間

• 使用したGPU: NVIDIA A100
• 総学習時間: ~6時間
• 使用したコンピュートユニット: 80

テストデータ、要因、および評価指標

テストデータ

このモデルは、結合されたテストセットでテストされ、以下の指標で評価されました。

• 正解率
• 適合率
• 再現率
• F1スコア
• 実行時間

結果

RoBERTaモデルの評価指標

要約

このRoBERTaベースのパラフレーズ検出モデルは、4つのベンチマークデータセット（MRPC、QQP、PAWS-X、およびPIT）でファインチューニングされており、様々なパラフレーズ構造に対して強力な性能を発揮します。このモデルは、文ペア間の意味的類似性を効果的に識別するため、意味的検索、重複コンテンツ検出、および質問応答システムなどのアプリケーションに適しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

このモデルを使用する場合は、以下を引用してください。

@inproceedings{viswadarshan2025paraphrase,
   title={Comparative Insights into Modern Architectures for Paraphrase Detection},
   author={Viswadarshan R R, Viswaa Selvam S, Felcia Lilian J, Mahalakshmi S},
   booktitle={International Conference on Computational Intelligence, Data Science, and Security (ICCIDS)},
   year={2025},
   publisher={IFIP AICT Series by Springer}
}

モデルカードの連絡先

📧 メール: viswadarshanrramiya@gmail.com

🔗 GitHub: Viswadarshan R R

モデル情報