Modernbert Base Cos

🚀 ModernBERT-base-cos

ModernBERT-base-cosは、ModernBERTベースのシーケンス分類モデルです。Q&Aのコンテキストにおける要約の品質を評価するために特にファインチューニングされています。このモデルは、「要約の連鎖」アプローチに関する研究の一環として、生成された要約が質問応答タスクに必要な重要な情報をどれだけうまく捉えているかを評価するように設計されています。

🚀 クイックスタート

以下のコードを使用して、このモデルを使い始めることができます。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# Load model and tokenizer
model_id = "williambrach/ModernBERT-base-cos"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id).to("cuda")

def summary_score(
    tokenizer,
    summaries: list[str],
    device: str = "cuda",
    return_tensor: bool = True,
):
    inputs = tokenizer(
        summaries, return_tensors="pt", padding=True, truncation=True
    ).to(device)
    with torch.no_grad():
        outputs = model(**inputs)
        logits = torch.sigmoid(outputs["logits"])
        if return_tensor:
            logits = logits
        else:
            logits = logits.cpu().numpy().tolist()
    return logits

# Example
texts = [
    "test",
    "Michael Jackson was a famous singer and dancer.",
    "Michael Jackson was a famous singer.",
    "Michael Jackson was a famous dancer.",
]
scores = summary_score(tokenizer, texts, return_tensor=False)
print(scores)

ハードウェア

[詳細情報が必要]

ソフトウェア

[詳細情報が必要]

✨ 主な機能

このモデルは、要約の品質と完全性を品質スコアを提供することで評価します。これにより、要約が下流のQ&Aタスクに必要な情報を十分に捉えているかどうかを判断するのに役立ち、以下の用途に有用です。

• 要約評価に取り組む研究者
• Q&Aパイプラインの最適化
• 学生が生成した要約の評価が必要な教育アプリケーション
• 要約の品質が重要なコンテンツ作成プラットフォーム

📚 ドキュメント

モデルの詳細

• 開発者: [詳細情報が必要]
• 資金提供元 (オプション): [詳細情報が必要]
• 共有者 (オプション): [詳細情報が必要]
• モデルの種類: [詳細情報が必要]
• 言語 (NLP): [詳細情報が必要]
• ライセンス: [詳細情報が必要]
• ファインチューニング元のモデル (オプション): [詳細情報が必要]

モデルのソース (オプション)

• リポジトリ: [詳細情報が必要]
• 論文 (オプション): [詳細情報が必要]
• デモ (オプション): [詳細情報が必要]

📄 ライセンス

[詳細情報が必要]

引用 (オプション)

BibTeX

[詳細情報が必要]