# ドメイン特化BERT

デンマーク絶対王政期（1660-1849年）の歴史テキストに基づいて訓練された初のトランスフォーマーモデル。オールボー大学の研究者によって開発され、現代デンマーク語と大きく異なる歴史テキストの意味処理に使用されます。

これはアリババNLP/gte-modernbert-baseをファインチューニングした文変換モデルで、医療分野のセマンティックテキスト類似度計算に特化しており、セマンティックキャッシュ機能をサポートしています。

これはmBERTベースのセンテンストランスフォーマーモデルで、フランス法律分野に特化して最適化されており、法律テキストを768次元ベクトル表現に変換できます。

金融・規制分野に最適化されたBERT文ベクトル変換モデル、SEC文書でトレーニング

これは農業分野に最適化されたBERTモデルで、MLM（マスク言語モデル）の自己教師あり学習方法でトレーニングされています。

BiomedBERTはPubMedの抄録テキストを基にゼロから事前学習された生物医学分野向け大規模言語モデルで、生物医学自然言語処理タスクの性能向上に特化しています。

BioLinkBERTを基にした生物医学文埋め込みモデルで、生物医学テキストの類似度計算のために設計されています

13Kの化学と14Kの製薬ウィキペディア記事段落で微調整された化学分野言語モデルで、製薬と化学分野のテキストを区別するために使用されます。

MatSciBERTはBERTアーキテクチャに基づく事前学習済み言語モデルで、材料科学分野のテキストマイニングや情報抽出タスクに最適化されています。

BiomedBERTはPubMedの抄録とPubMedCentralの全文を用いて事前学習された生物医学分野特化の言語モデルで、多くの生物医学NLPタスクで最先端の性能を達成しています。

これは日本語テキストで事前学習されたBERTモデルで、特に金融分野向けに最適化されています。