Bloomz 3b Nli

🚀 Bloomz-3b-NLIモデル

このBloomz-3b-NLIモデルは、Bloomz-3b-chat-dpo 基礎モデルから微調整されたものです。このモデルは、言語に依存しない方法で自然言語推論（NLI）タスクに対して訓練されています。NLIタスクでは、仮説と一連の前提との間の意味関係を判断することが求められ、これはしばしば文のペアとして表現されます。

📄 ライセンス

このモデルのライセンスは、bigscience-bloom-rail-1.0です。

📋 詳細情報

🚀 クイックスタート

Bloomz-3b-NLIモデルは、自然言語推論（NLI）タスクに対して言語に依存しない方法で訓練されています。このモデルの目的は、テキストの含意（文Aが文Bを含意する/矛盾する/どちらでもないか？）を予測することで、分類タスクです。

✨ 主な機能

• 言語非依存アプローチ：仮説と前提は英語とフランス語からランダムに選択され、各言語の組み合わせは25％の確率を表します。
• ゼロショット分類：特定の訓練なしで任意のテキストを任意のラベルで分類することができます。

💻 使用例

基本的な使用法

from transformers import pipeline

classifier = pipeline(
    task='zero-shot-classification',
    model="cmarkea/bloomz-3b-nli"
)
result = classifier (
    sequences="Le style très cinéphile de Quentin Tarantino "
    "se reconnaît entre autres par sa narration postmoderne "
    "et non linéaire, ses dialogues travaillés souvent "
    "émaillés de références à la culture populaire, et ses "
    "scènes hautement esthétiques mais d'une violence "
    "extrême, inspirées de films d'exploitation, d'arts "
    "martiaux ou de western spaghetti.",
    candidate_labels="cinéma, technologie, littérature, politique",
    hypothesis_template="Ce texte parle de {}."
)

result
{"labels": ["cinéma",
            "littérature",
            "technologie",
            "politique"],
 "scores": [0.8745610117912292,
            0.10403601825237274,
            0.014962797053158283,
            0.0064402492716908455]}

# Resilience in cross-language French/English context
result = classifier (
    sequences="Quentin Tarantino's very cinephile style is "
    "recognized, among other things, by his postmodern and "
    "non-linear narration, his elaborate dialogues often "
    "peppered with references to popular culture, and his "
    "highly aesthetic but extremely violent scenes, inspired by "
    "exploitation films, martial arts or spaghetti western.",
    candidate_labels="cinéma, technologie, littérature, politique",
    hypothesis_template="Ce texte parle de {}."
)

result
{"labels": ["cinéma",
            "littérature",
            "technologie",
            "politique"],
 "scores": [0.9314399361610413,
            0.04960821941494942,
            0.013468802906572819,
            0.005483036395162344]}

📚 ドキュメント

モデルの概要

このモデルは、自然言語推論（NLI）タスクに対して言語に依存しない方法で訓練されています。NLIタスクでは、仮説と一連の前提との間の意味関係を判断することが求められ、これはしばしば文のペアとして表現されます。

言語非依存アプローチ

仮説と前提は英語とフランス語からランダムに選択され、各言語の組み合わせは25％の確率を表します。

性能

一般的な性能

フランス語の仮説と前提のパフォーマンス

フランス語の仮説と英語の前提のパフォーマンス（クロス言語コンテキスト）

ゼロショット分類

このモデルの主な利点は、ゼロショット分類性能にあります。これは、特定の訓練なしで任意のテキストを任意のラベルで分類することができることを意味します。Bloomz-3b-NLI LLMは、BERT、RoBERTa、またはCamemBERTなどのモデルと比較して、はるかに複雑で長いテキスト構造から情報をモデル化して抽出する能力があります。

ゼロショット分類タスクの概要

$$P(hypothesis=i\in\mathcal{C}|premise)=\frac{e^{P(premise=entailment\vert hypothesis=i)}}{\sum_{j\in\mathcal{C}}e^{P(premise=entailment\vert hypothesis=j)}}$$ i はテンプレート（例：「このテキストは {} に関するものです。」）と #C 候補ラベル（「映画」、「政治」など）で構成される仮説を表し、仮説のセットは {"このテキストは映画に関するものです。", "このテキストは政治に関するものです。", ...} で構成されます。これらの仮説を、分類したい文である前提と比較します。

ゼロショット分類の性能

このモデルは、フランスの映画レビューサイト Allociné のセンチメント分析評価に基づいて評価されています。データセットは20,000件のレビューで、肯定的なコメントと否定的なコメントの2クラスにラベル付けされています。そして、仮説テンプレート「Ce commentaire est {}」と候補クラス「positif」および「negatif」を使用します。

🔧 技術詳細

このモデルは、自然言語推論（NLI）タスクに対して言語に依存しない方法で訓練されています。NLIタスクでは、仮説と一連の前提との間の意味関係を判断することが求められ、これはしばしば文のペアとして表現されます。

引用

@online{DeBloomzNLI,
  AUTHOR = {Cyrile Delestre},
  URL = {https://huggingface.co/cmarkea/bloomz-3b-nli},
  YEAR = {2024},
  KEYWORDS = {NLP ; Transformers ; LLM ; Bloomz},
}