# BERTアーキテクチャ最適化

BERTベースの多言語検出モデルで、200言語のテキスト分類タスクをサポート

M2-BERT-128は論文『Benchmarking and Building Long-Context Retrieval Models with LoCo and M2-BERT』で提案された8000万パラメータの検索モデルチェックポイント

これは日本語テキストを事前学習したLayoutLMモデルで、主に日本語文書のトークン分類タスクを処理するために使用されます。

EnvironmentalBERT-baseを微調整した生物多様性テキスト分類モデルで、ESG/自然分野の生物多様性テキスト検出に特化

これは80MパラメータのM2-BERT事前学習モデルで、最大32768のシーケンス長をサポートし、長文コンテキスト検索タスクに最適化されています

GHisBERTはBERTアーキテクチャに基づくモデルで、歴史的ドイツ語データ向けにゼロから訓練され、ドイツ語の全ての文献化された発展段階を網羅しています。

BERTアーキテクチャに基づく固有表現認識モデル、人名、組織名、アメリカ住所情報のアノテーション専用

日本語BERTを改良したLUKEモデルで、日本語固有表現認識タスクに最適化されています

EconoBertはbert-base-uncasedを経済学分野のデータセットでファインチューニングしたモデルで、経済学、政治学、金融学分野のNLPタスクに適しています。

GeoLMは、文から地名を検出するための言語モデルで、世界中のOpenStreetMap、WikiData、Wikipediaデータで事前学習され、GeoWebNewsデータセットでファインチューニングされています。

IndoBERTベースのSimCSEモデル、インドネシア語文の意味的埋め込みベクトル生成用

indolem/indobert-base-uncasedをファインチューニングしたインドネシア語テキスト分類モデルで、評価セットでの精度は79.54%

Sber AIチームとモスクワ国立大学人工知能研究所MLSA研究室が共同で訓練したロシア語BERTモデルで、科学テキスト処理に特化

これはsentence-transformersベースのモデルで、ベトナム語の住所文や段落を768次元の密なベクトル空間にマッピングでき、主に住所標準化タスクに使用されます。

哪吒(NEZHA)は中国語理解向けの神経コンテキスト化表現モデルで、Transformerアーキテクチャに基づき、Huawei Noah's Ark Labによって開発されました。

これはBERTアーキテクチャに基づく中国語事前学習言語モデルで、文語と現代中国語の処理をサポートします。

sentence-transformersベースのスペイン語BERTモデルで、文や段落の768次元ベクトル表現を生成

AraBERTMoはGoogleのBERTアーキテクチャに基づくアラビア語事前学習言語モデルで、マスキングタスクをサポートします。

約82億語のアラビア語テキストリソースを基に訓練された事前学習済みのアラビア語BERT中型言語モデル

日本語ウィキペディアデータセットで学習されたBERTベースモデル、日本語テキストのマスク埋め込みタスクに適しています

韓国語事前学習に基づくRoBERTaモデルで、様々な韓国語自然言語処理タスクに適用可能です。

KLUE BERT-baseをファインチューニングした韓国語機械読解モデル、AIHubデータセットで訓練

繁体中国語のtransformersモデル及び自然言語処理ツールを提供

MuRILはGoogleが公開した17種類のインド言語とその転写版を事前学習したBERTモデルで、多言語表現をサポートしています。

RuBERTアーキテクチャに基づくロシア語短テキスト感情分類モデルで、中立、積極的、消極的の3つの感情分類をサポート

BERTアーキテクチャに基づくアラビア語事前学習言語モデル、様々なアラビア語NLPタスクに対応

現在最先端のヘブライ語言語モデル。BERTアーキテクチャに基づいています。

AraBERTMoはGoogleのBERTアーキテクチャに基づくアラビア語事前学習言語モデルで、マスキングタスクをサポートします。

BigBirdアーキテクチャに基づく中国語事前学習モデル、4096長のコンテキスト処理をサポート