Xlm Roberta Base

🚀 XLM - RoBERTaモデルのTensorFlow変換

本プロジェクトでは、XLM - RoBERTaモデルをTensorFlowで使用可能な形式に変換し、TensorFlow環境でこの事前学習済みモデルを簡単に利用できるようにしています。

🚀 クイックスタート

依存関係のインストール

まず、transformersとsentencepieceライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

!pip install transformers sentencepiece

モデルとトークナイザーの読み込み

以下のコードを使用して、XLM - RoBERTaベースモデルと対応するトークナイザーを読み込みます。

from transformers import TFAutoModel, AutoTokenizer
name = "xlm-roberta-base"
model = TFAutoModel.from_pretrained(name, from_pt=True)
tokenizer = AutoTokenizer.from_pretrained(name)

モデルとトークナイザーの保存

読み込んだモデルとトークナイザーをローカルに保存し、後で使用しやすくします。

model.save_pretrained("local-xlm-roberta-base")
tokenizer.save_pretrained("local-xlm-roberta-base")

💻 使用例

基本的な使用法

以下は、XLM - RoBERTaモデルをTensorFlow形式に変換し、ローカルに保存する方法を示す完全なコード例です。

# 依存ライブラリのインストール
!pip install transformers sentencepiece
# 必要なライブラリのインポート
from transformers import TFAutoModel, AutoTokenizer
# モデル名の指定
name = "xlm-roberta-base"
# 事前学習済みモデルからTensorFlowモデルを読み込む
model = TFAutoModel.from_pretrained(name, from_pt=True)
# 事前学習済みモデルからトークナイザーを読み込む
tokenizer = AutoTokenizer.from_pretrained(name)
# モデルをローカルに保存する
model.save_pretrained("local-xlm-roberta-base")
# トークナイザーをローカルに保存する
tokenizer.save_pretrained("local-xlm-roberta-base")