Sportsbert

🚀 SportsBERT：スポーツ分野専用のBERTモデル

SportsBERTは、スポーツ分野に特化したBERTベースのTransformerモデルです。自然言語処理タスクにおいて、BERTやRoBERTaなどの事前学習大規模モデルは、自然言語理解と処理タスクの最先端モデルとなっています。ただし、これらのモデルは通常、インターネットやQuora、Wikipediaなどの知識ベースからの一般的な文章コーパスで学習されており、様々な分野や背景の文章が含まれています。一方、医学などの特定分野では、特定分野の言語モデルを学習させることが、一般的な事前学習モデルよりも優れた性能を発揮することが証明されています。そこで、我々はスポーツ分野に特化したSportsBERTモデルの学習に取り組みました。

🚀 クイックスタート

SportsBERTは、スポーツ記事に特化してゼロから学習されたBERTモデルです。学習コーパスには、過去4年間にインターネットから収集したスポーツ関連のニュース記事が含まれており、サッカー、バスケットボール、ホッケー、クリケット、フットボール、野球、オリンピック、テニス、ゴルフ、総合格闘技などの種目のニュースが網羅されています。約800万個の学習サンプルを用いてこのモデルを学習させました。また、語彙表により多くのスポーツ関連のトークンを含めるために、ゼロからトークナイザーも学習させました。

このモデルは、BERTベースの大文字小文字を区別しないアーキテクチャを採用し、4台のV100 GPU上で学習されました。これはマスク言語モデル（MLM）に基づくTransformerモデルであり、主なタスクは欠落したマスクトークンを埋めることです。例えば： “Anthony Davis is a [MASK]” という文では、モデルは信頼度の高い順に “legend”（伝説）、“superstar”（スーパースター）、“rookie”（新人）、“star”（スター）、“king”（王者） などのトークンを出力します。

このモデルは、その後、分類やエンティティ抽出などの他のタスクを微調整するために使用できます。

✨ 主な機能

• 分野特化性：スポーツ分野の記事に特化して学習されているため、スポーツ関連の自然言語処理タスクでより優れた性能を発揮します。
• カスタマイズされたトークナイザー：スポーツ関連の語彙をより多く含む専用のトークナイザーを学習させているため、スポーツ分野のテキストをより適切に処理できます。
• 拡張性：このモデルを基に微調整することで、様々なスポーツ関連の自然言語処理タスクに適応させることができます。

📚 ドキュメント

モデル情報

作者情報

作者：Prithvishankar Srinivasan (prsrini@microsoft.com)

言語とタグ

言語：英語 タスクタグ：マスクの埋め込み