Physbert Cased

🚀 PhysBERT

PhysBERTは物理学用の特殊なテキスト埋め込みモデルで、物理学文献の情報検索、引用分類、クラスタリングを改善するように設計されています。120万件の物理学論文で学習されており、物理学特有のタスクで汎用モデルを上回る性能を発揮します。

🚀 クイックスタート

PhysBERTは、物理学用のBERTベースのテキスト埋め込みモデルで、SimCSEを使用して微調整され、物理学特有の性能を最適化しています。このモデルにより、物理学文献の効率的な検索、分類、分析が可能になり、ドメイン固有の自然言語処理タスクでより高い関連性と精度を達成します。

✨ 主な機能

• 物理学文献の情報検索、引用分類、クラスタリングの改善
• ドメイン固有の自然言語処理タスクで汎用モデルを上回る性能

📦 インストール

このセクションでは、原READMEにインストールに関する具体的な内容がないため、省略します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
import torch

# Load PhysBERT tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("thellert/physbert_cased")
model = AutoModel.from_pretrained("thellert/physbert_cased")

# Sample text to embed
sample_text = "Electrons exhibit both particle and wave-like behavior."

# Tokenize the input text and pass it through the model
inputs = tokenizer(sample_text, return_tensors="pt")
outputs = model(**inputs)

# Extract the token embeddings
token_embeddings = outputs.last_hidden_state
# Drop CLS and SEP tokens, then take the mean for the sentence embedding
token_embeddings = token_embeddings[:, 1:-1, :]
sentence_embedding = token_embeddings.mean(dim=1)

📚 ドキュメント

モデルの詳細

PhysBERTは、物理学用のBERTベースのテキスト埋め込みモデルで、SimCSEを使用して微調整され、物理学特有の性能を最適化しています。このモデルにより、物理学文献の効率的な検索、分類、分析が可能になり、ドメイン固有の自然言語処理タスクでより高い関連性と精度を達成します。小文字区別なしのバージョンはこちらで見ることができます。

学習データ

arXivの物理学出版物からの40GBのコーパスで学習されており、120万件の文書で構成され、科学的な精度のために精錬されています。

学習手順

モデルは、マスク言語モデリング (MLM) を使用して事前学習され、文埋め込みのためにSimCSEで微調整されました。

📄 ライセンス

このセクションでは、原READMEにライセンスに関する具体的な内容がないため、省略します。

🔧 技術詳細

このセクションでは、原READMEに技術的な詳細が十分に記載されていないため、省略します。

引用

この成果が役立つと思われる場合は、以下の論文を引用してください。

@article{10.1063/5.0238090,
    author = {Hellert, Thorsten and Montenegro, João and Pollastro, Andrea},
    title = "{PhysBERT: A text embedding model for physics scientific literature}",
    journal = {APL Machine Learning},
    volume = {2},
    number = {4},
    pages = {046105},
    year = {2024},
    month = {10},
    issn = {2770-9019},
    doi = {10.1063/5.0238090},
    url = {https://doi.org/10.1063/5.0238090},
    eprint = {https://pubs.aip.org/aip/aml/article-pdf/doi/10.1063/5.0238090/20227307/046105_1_5.0238090.pdf},
}

モデルカード作成者

Thorsten Hellert, João Montenegro, Andrea Pollastro

モデルカード連絡先

Thorsten Hellert, ローレンス・バークレー国立研究所, thellert@lbl.gov