Bigbird Roberta Base Finetuned App

🚀 モバイルアプリ分類

このプロジェクトでは、BigBirdをベースにしたモデルを用いて、モバイルアプリの説明を分類します。このモデルは、Google Playストアのアプリ説明を6つのカテゴリに分類するように微調整されています。

🚀 クイックスタート

このモデルは、Transformerベースのモデルを拡張したBigBirdを使用しています。このモデルは、最大4,096トークンの入力シーケンスを処理できます。

✨ 主な機能

• 長いシーケンスの処理：BigBirdを使用することで、最大4,096トークンの入力シーケンスを処理できます。
• 6つのカテゴリへの分類：Google Playストアのアプリ説明を6つのカテゴリに分類できます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("nsi319/bigbird-roberta-base-finetuned-app")  
model = AutoModelForSequenceClassification.from_pretrained("nsi319/bigbird-roberta-base-finetuned-app")

classifier = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)

classifier("From scores to signings, the ESPN App is here to keep you updated. Never miss another sporting moment with up-to-the-minute scores, latest news & a range of video content. Sign in and personalise the app to receive alerts for your teams and leagues. Wherever, whenever; the ESPN app keeps you connected.")

'''Output'''
[{'label': 'Sports', 'score': 0.9983325600624084}]

📚 ドキュメント

モデルの説明

BigBirdは、Transformerベースのモデルを拡張した、疎注意力ベースのTransformerです。このモデルは、BERTなどのTransformerベースのモデルをより長いシーケンスに拡張します。モデルは、最大4,096トークンの入力シーケンスを処理できます。

google/bigbird-roberta-baseモデルは、モバイルアプリの説明を6つのPlayストアカテゴリのいずれかに分類するように微調整されています。 Google Playで利用可能な9000サンプルの英語のアプリ説明と関連するアプリのカテゴリで学習されています。

微調整

モデルは、バッチサイズ16、学習率2e-05、最大シーケンス長1024で5エポック間微調整されました。これは分類タスクであったため、モデルは交差エントロピー損失関数で学習されました。モデルが達成した最良の評価F1スコアは0.8964259037209702で、4エポック後に見つかりました。テストセットでのモデルの精度は0.8966でした。

🔧 技術詳細

• モデルタイプ：BigBirdベースのシーケンス分類モデル
• 学習データ：Google Playストアの9000サンプルの英語のアプリ説明と関連するアプリのカテゴリ

📄 ライセンス

このモデルは、MITライセンスの下で公開されています。

制限事項

学習データは、Education、Entertainment、Productivity、Sports、News & Magazines、Photographyの6つのPlayストアカテゴリのアプリで構成されています。