CT M1 Complete SE

🚀 CrisisTransformers

CrisisTransformersは、論文「CrisisTransformers: Pre-trained language models and sentence encoders for crisis-related social media texts」および「Semantically Enriched Cross-Lingual Sentence Embeddings for Crisis-related Social Media Texts」で紹介された事前学習言語モデルと文章エンコーダのファミリーです。これらのモデルは、疾病の流行、自然災害、紛争など30以上の危機的イベントに関連するツイートから収集された150億以上の単語トークンの大規模コーパスを使用し、RoBERTaの事前学習手順に基づいて学習されました。詳細については、関連論文を参照してください。

CrisisTransformersは、18の公開された危機特化データセットで強力なベースラインと比較されました。我々の事前学習モデルは、すべての18のデータセットで分類タスクにおいてベースラインを上回り、最も性能の高い文章エンコーダ（単言語）は、文章エンコーディングタスクにおいて最先端技術を17%以上上回っています。多言語文章エンコーダ（50以上の言語をサポート；関連論文を参照）は、最も性能の高い単言語文章エンコーダの埋め込み空間を近似するように設計されています。

🚀 クイックスタート

CrisisTransformersの概要や性能について、上記の通り説明しました。以下では、その具体的な利用方法やモデルの詳細について解説します。

✨ 主な機能

用途

CrisisTransformersには、8つの事前学習モデルと、1つの単言語および2つの多言語文章エンコーダがあります。事前学習モデルは、BERTやRoBERTaと同様に、下流タスクのために微調整する必要があります。文章エンコーダは、Sentence-Transformersと同様に即座に使用でき、意味検索、クラスタリング、トピックモデリングなどのタスクを容易に行うことができます。

モデルと命名規則

CT-M1 モデルは、最大40エポックまで最初から学習され、CT-M2 モデルは事前学習されたRoBERTaの重みで初期化され、CT-M3 モデルは事前学習されたBERTweetの重みで初期化され、どちらも最大20エポックまで学習されます。OneLook は1エポック後のチェックポイントを、BestLoss は学習中の最小損失のチェックポイントを、Complete はすべてのエポックを完了した後のチェックポイントを表します。SE は文章エンコーダを表します。

多言語文章エンコーダがサポートする言語: アルバニア語、アラビア語、アルメニア語、ブルガリア語、カタルーニャ語、中国語（簡体字）、中国語（繁体字）、クロアチア語、チェコ語、デンマーク語、オランダ語、エストニア語、フィンランド語、フランス語、フランス語（カナダ）、ガリシア語、グルジア語、ドイツ語、ギリシャ語、グジャラート語、ヘブライ語、ヒンディー語、ハンガリー語、インドネシア語、イタリア語、日本語、韓国語、クルド語（ソラニ）、ラトビア語、リトアニア語、マケドニア語、マレー語、マラーティー語、モンゴル語、ミャンマー語（ビルマ語）、ノルウェー語、ペルシャ語、ポーランド語、ポルトガル語、ポルトガル語（ブラジル）、ルーマニア語、ロシア語、セルビア語、スロバキア語、スロベニア語、スペイン語、スウェーデン語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語。

📄 ライセンス

引用

CrisisTransformersと単言語文章エンコーダを使用する場合は、以下の論文を引用してください。

@article{lamsal2023crisistransformers,
      title={CrisisTransformers: Pre-trained language models and sentence encoders for crisis-related social media texts}, 
      author={Rabindra Lamsal and
		      Maria Rodriguez Read and
		      Shanika Karunasekera},
      journal={Knowledge-Based Systems},
      pages={111916},
      year={2024},
      publisher={Elsevier}
}

多言語文章エンコーダを使用する場合は、以下の論文を引用してください。

@article{lamsal2024semantically,
      title={Semantically Enriched Cross-Lingual Sentence Embeddings for Crisis-related Social Media Texts}, 
      author={Rabindra Lamsal and
		      Maria Rodriguez Read and
		      Shanika Karunasekera},
      year={2024},
      eprint={2403.16614},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}