Canine S

🚀 CANINE-s (サブワード損失で事前学習されたCANINE)

CANINEは、マスク言語モデリング（MLM）の目的で104の言語で事前学習されたモデルです。このモデルは論文 CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation で紹介され、このリポジトリ で最初に公開されました。CANINEの特徴は、BERTやRoBERTaなどの他のモデルのように明示的なトークナイザー（WordPieceやSentencePieceなど）を必要としないことです。代わりに、文字レベルで直接動作し、各文字は Unicodeコードポイント に変換されます。

🚀 クイックスタート

CANINE-sは、多言語の大規模コーパスで自己教師あり学習によって事前学習されたトランスフォーマーモデルです。このモデルは、生のテキストのみを使用して事前学習され、人間によるラベル付けは一切行われません。具体的には、次の2つの目的で事前学習されています。

• マスク言語モデリング（MLM）：入力の一部をランダムにマスクし、モデルが予測する必要があります。このモデル（CANINE-s）はサブワード損失で学習されており、文字を入力としてサブワードトークンの識別を予測する必要があります。
• 次文予測（NSP）：事前学習中に2つの文を連結して入力とします。元のテキストで隣り合っていた文の場合とそうでない場合があり、モデルは2つの文が連続しているかどうかを予測する必要があります。

✨ 主な機能

• トークナイザー不要：他のモデルとは異なり、明示的なトークナイザーを必要とせず、文字レベルで直接動作します。
• 多言語対応：104の言語で事前学習されており、多言語のタスクに対応しています。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import CanineTokenizer, CanineModel

model = CanineModel.from_pretrained('google/canine-s')
tokenizer = CanineTokenizer.from_pretrained('google/canine-s')

inputs = ["Life is like a box of chocolates.", "You never know what you gonna get."]
encoding = tokenizer(inputs, padding="longest", truncation=True, return_tensors="pt")

outputs = model(**encoding) # forward pass
pooled_output = outputs.pooler_output
sequence_output = outputs.last_hidden_state

📚 ドキュメント

想定される用途と制限

このモデルは、マスク言語モデリングまたは次文予測に使用できますが、主に下流タスクでの微調整を目的としています。モデルハブ で、関心のあるタスクで微調整されたバージョンを探すことができます。

なお、このモデルは主に、文全体（場合によってはマスクされたもの）を使用して決定を行うタスク、例えばシーケンス分類、トークン分類、質問応答などでの微調整を目的としています。テキスト生成などのタスクには、GPT2などのモデルを使用することをお勧めします。

学習データ

CANINEモデルは、mBERT の多言語Wikipediaデータで事前学習されており、104の言語が含まれています。

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-2103-06874,
  author    = {Jonathan H. Clark and
               Dan Garrette and
               Iulia Turc and
               John Wieting},
  title     = {{CANINE:} Pre-training an Efficient Tokenization-Free Encoder for
               Language Representation},
  journal   = {CoRR},
  volume    = {abs/2103.06874},
  year      = {2021},
  url       = {https://arxiv.org/abs/2103.06874},
  archivePrefix = {arXiv},
  eprint    = {2103.06874},
  timestamp = {Tue, 16 Mar 2021 11:26:59 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2103-06874.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。