Msroberta

🚀 MSRoBERTa

Microsoft Sentence Completion Challenge のためにFine-tuningされたRoBERTa MLMモデルです。このモデルは Roberta-base モデルに従い、大文字と小文字を区別します。

🚀 クイックスタート

MSRoBERTaは、英語の文章の完結度を向上させるためにFine-tuningされたモデルです。このモデルを使用することで、文章の穴埋めなどのタスクを行うことができます。

✨ 主な機能

• マスクされた単語を予測することができます。
• 文章の穴埋めタスクに適しています。
• Roberta-base モデルに従い、大文字と小文字を区別します。

📦 インストール

上記のコマンドを実行する前に、!pip install transformers コマンドを実行して、transformersライブラリをインストールしてください。

💻 使用例

基本的な使用法

from transformers import pipeline,AutoModelForMaskedLM,AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("nkoh01/MSRoberta")
model = AutoModelForMaskedLM.from_pretrained("nkoh01/MSRoberta")

unmasker = pipeline(
    "fill-mask",
    model=model,
    tokenizer=tokenizer
)
unmasker("Hello, it is a <mask> to meet you.")

[{'score': 0.9508683085441589,
  'sequence': 'hello, it is a pleasure to meet you.',
  'token': 10483,
  'token_str': ' pleasure'},
 {'score': 0.015089659951627254,
  'sequence': 'hello, it is a privilege to meet you.',
  'token': 9951,
  'token_str': ' privilege'},
 {'score': 0.013942377641797066,
  'sequence': 'hello, it is a joy to meet you.',
  'token': 5823,
  'token_str': ' joy'},
 {'score': 0.006964420434087515,
  'sequence': 'hello, it is a delight to meet you.',
  'token': 13213,
  'token_str': ' delight'},
 {'score': 0.0024567877408117056,
  'sequence': 'hello, it is a honour to meet you.',
  'token': 6671,
  'token_str': ' honour'}]

📚 ドキュメント

モデルの説明 (引用元: こちら)

RoBERTaは、自己教師付き学習方式で大量の英語データコーパスで事前学習されたトランスフォーマーモデルです。これは、人間が何らかの形でラベル付けを行わず、生のテキストのみを使用して事前学習されたことを意味します（このため、公開されている大量のデータを使用することができます）。そして、それらのテキストから入力とラベルを自動的に生成するプロセスを用いています。

より正確には、マスク言語モデリング（MLM）の目的で事前学習されています。文章を取り、モデルは入力の単語の15％をランダムにマスクし、その後、マスクされた文章全体をモデルに通して、マスクされた単語を予測する必要があります。これは、通常は単語を順番に見る従来の再帰型ニューラルネットワーク（RNN）や、内部的に未来のトークンをマスクするGPTのような自己回帰型モデルとは異なります。これにより、モデルは文章の双方向的な表現を学習することができます。

このように、モデルは英語の内部表現を学習し、それを下流タスクに役立つ特徴量を抽出するために使用することができます。たとえば、ラベル付けされた文章のデータセットがある場合、BERTモデルが生成する特徴量を入力として使用して、標準的な分類器を学習することができます。

🔧 技術詳細

このモデルは、Roberta-base モデルをベースにしており、Microsoft Sentence Completion Challenge のデータセットでFine-tuningされています。マスク言語モデリング（MLM）の目的で事前学習されており、文章の双方向的な表現を学習することができます。