Sbert Base Ja

🚀 日本語文BERTベースモデル

このリポジトリには、日本語用の文BERTベースモデルが含まれており、文の類似度計算などのタスクに使用でき、日本語文処理に有効な解決策を提供します。

🚀 クイックスタート

このモデルは、SentenceTransformer をベースに構築された日本語文BERTベースモデルです。このモデルを使用するには、まず依存関係をインストールし、次にモデルを初期化して encode メソッドを使用して文をベクトルに変換します。

✨ 主な機能

• 事前学習モデル：[Creative Commons Attribution - ShareAlike 3.0](https://creativecommons.org/licenses/by - sa/3.0/) ライセンスで公開された日本語BERTモデル [colorfulscoop/bert - base - ja](https://huggingface.co/colorfulscoop/bert - base - ja) v1.0 を事前学習モデルとして使用しています。
• 学習データ：[Creative Commons Attribution - ShareAlike 4.0](https://creativecommons.org/licenses/by - sa/4.0/) ライセンスで公開された [日本語SNLIデータセット](https://nlp.ist.i.kyoto - u.ac.jp/index.php?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88) を使用して学習されています。
• モデル構造：[sentence - transformers](https://github.com/UKPLab/sentence - transformers) ライブラリの SentenceTransformer モデルを使用しています。

📦 インストール

まず、依存関係をインストールします。

$ pip install sentence-transformers==2.0.0

💻 使用例

基本的な使用法

>>> from sentence_transformers import SentenceTransformer
>>> model = SentenceTransformer("colorfulscoop/sbert-base-ja")
>>> sentences = ["外をランニングするのが好きです", "海外旅行に行くのが趣味です"]
>>> model.encode(sentences)

📚 ドキュメント

事前学習モデル

このモデルは、[Creative Commons Attribution - ShareAlike 3.0](https://creativecommons.org/licenses/by - sa/3.0/) ライセンスで公開された日本語BERTモデル [colorfulscoop/bert - base - ja](https://huggingface.co/colorfulscoop/bert - base - ja) v1.0 を事前学習モデルとして使用しています。

学習データ

[Creative Commons Attribution - ShareAlike 4.0](https://creativecommons.org/licenses/by - sa/4.0/) ライセンスで公開された [日本語SNLIデータセット](https://nlp.ist.i.kyoto - u.ac.jp/index.php?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88) を使用して学習されています。元の学習データセットは学習セットと検証セットに分割され、最終的に準備されたデータは次の通りです。

モデルの説明

このモデルは、[sentence - transformers](https://github.com/UKPLab/sentence - transformers) ライブラリの SentenceTransformer モデルを使用しています。モデルの詳細情報は次の通りです。

>>> from sentence_transformers import SentenceTransformer
>>> SentenceTransformer("colorfulscoop/sbert-base-ja")
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)

学習プロセス

このモデルは、SNLIの3ラベルSoftmax分類器を使用して [colorfulscoop/bert - base - ja](https://huggingface.co/colorfulscoop/bert - base - ja) を微調整しています。AdamWオプティマイザを使用し、学習率は2e - 05で、学習データの10%で線形ウォームアップを行います。モデルはバッチサイズ8で1エポック学習されます。

注意：Sentence BERT の元論文では、SNLIとMulti - Genle NLIで学習されたモデルのバッチサイズは16です。このモデルでは、データセットが元のデータセットの約半分なので、バッチサイズは元のバッチサイズ16の半分に設定されています。

学習は、RTX 2080 Tiを1枚搭載したUbuntu 18.04.5 LTS上で行われました。学習後、テストセットの正解率は0.8529に達しました。学習コードは [GitHubリポジトリ](https://github.com/colorfulscoop/sbert - ja) で入手できます。

🔧 技術詳細

このモデルは SentenceTransformer フレームワークをベースに構築され、事前学習された日本語BERTモデルを微調整しています。学習プロセスでは、Softmax分類器とAdamWオプティマイザを採用し、日本語SNLIデータセットを学習することで、モデルが日本語文を効果的にベクトル表現に変換できるようになっています。

📄 ライセンス

Copyright (c) 2021 Colorful Scoop。

このリポジトリに含まれるすべてのモデルは、[Creative Commons Attribution - ShareAlike 4.0](https://creativecommons.org/licenses/by - sa/4.0/) ライセンスで使用されています。

免責事項：このモデルを使用する場合は、自己責任で行ってください。Colorful Scoopは、モデルの出力について一切の保証を行いません。Colorful Scoopは、モデルの出力によって生じる問題、損失、または損害について責任を負いません。

このモデルは以下の事前学習モデルを使用しています。

このモデルは以下のデータを使用して微調整されています。