Sbert Base Ja

🚀 日語句子BERT基礎模型

本倉庫包含一個用於日語的句子BERT基礎模型，可用於計算句子相似度等任務，為日語句子處理提供了有效的解決方案。

🚀 快速開始

本模型是基於 SentenceTransformer 構建的日語句子BERT基礎模型。要使用該模型，首先需要安裝依賴，然後初始化模型並使用 encode 方法將句子轉換為向量。

✨ 主要特性

• 預訓練模型：使用在 [Creative Commons Attribution - ShareAlike 3.0](https://creativecommons.org/licenses/by - sa/3.0/) 許可下發布的日語BERT模型 [colorfulscoop/bert - base - ja](https://huggingface.co/colorfulscoop/bert - base - ja) v1.0 作為預訓練模型。
• 訓練數據：使用在 [Creative Commons Attribution - ShareAlike 4.0](https://creativecommons.org/licenses/by - sa/4.0/) 許可下發布的 [日語SNLI數據集](https://nlp.ist.i.kyoto - u.ac.jp/index.php?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88) 進行訓練。
• 模型結構：使用 [sentence - transformers](https://github.com/UKPLab/sentence - transformers) 庫中的 SentenceTransformer 模型。

📦 安裝指南

首先，安裝依賴：

$ pip install sentence-transformers==2.0.0

💻 使用示例

基礎用法

>>> from sentence_transformers import SentenceTransformer
>>> model = SentenceTransformer("colorfulscoop/sbert-base-ja")
>>> sentences = ["外をランニングするのが好きです", "海外旅行に行くのが趣味です"]
>>> model.encode(sentences)

📚 詳細文檔

預訓練模型

此模型使用在 [Creative Commons Attribution - ShareAlike 3.0](https://creativecommons.org/licenses/by - sa/3.0/) 許可下發布的日語BERT模型 [colorfulscoop/bert - base - ja](https://huggingface.co/colorfulscoop/bert - base - ja) v1.0 作為預訓練模型。

訓練數據

使用在 [Creative Commons Attribution - ShareAlike 4.0](https://creativecommons.org/licenses/by - sa/4.0/) 許可下發布的 [日語SNLI數據集](https://nlp.ist.i.kyoto - u.ac.jp/index.php?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88) 進行訓練。原始訓練數據集被劃分為訓練集和驗證集，最終準備的數據如下：

模型描述

該模型使用 [sentence - transformers](https://github.com/UKPLab/sentence - transformers) 庫中的 SentenceTransformer 模型，模型詳細信息如下：

>>> from sentence_transformers import SentenceTransformer
>>> SentenceTransformer("colorfulscoop/sbert-base-ja")
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)

訓練過程

此模型使用SNLI的3標籤Softmax分類器對 [colorfulscoop/bert - base - ja](https://huggingface.co/colorfulscoop/bert - base - ja) 進行微調。使用AdamW優化器，學習率為2e - 05，在10%的訓練數據上進行線性預熱。模型以批量大小8訓練1個epoch。

注意：在 Sentence BERT 的原始論文中，在SNLI和Multi - Genle NLI上訓練的模型批量大小為16。在此模型中，數據集約為原始數據集的一半，因此批量大小設置為原始批量大小16的一半。

訓練在配備一塊RTX 2080 Ti的Ubuntu 18.04.5 LTS上進行。訓練後，測試集準確率達到0.8529。訓練代碼可在 [GitHub倉庫](https://github.com/colorfulscoop/sbert - ja) 中獲取。

🔧 技術細節

本模型基於 SentenceTransformer 框架，利用預訓練的日語BERT模型進行微調。在訓練過程中，採用了Softmax分類器和AdamW優化器，通過對日語SNLI數據集的學習，使得模型能夠有效地將日語句子轉換為向量表示，從而用於句子相似度計算等任務。

📄 許可證

版權所有 (c) 2021 Colorful Scoop。

本倉庫中包含的所有模型均在 [Creative Commons Attribution - ShareAlike 4.0](https://creativecommons.org/licenses/by - sa/4.0/) 許可下使用。

免責聲明：使用此模型由您自行承擔風險。Colorful Scoop對模型的任何輸出不做任何保證。Colorful Scoop對因模型輸出產生的任何問題、損失或損害不承擔責任。

本模型使用了以下預訓練模型：

本模型使用以下數據進行微調：