Cryptobert

🚀 CryptoBERT

このモデルは、ProsusAI/finbert をカスタム暗号通貨市場センチメントデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.3823

🚀 クイックスタート

このセクションでは、CryptoBERTモデルを使用してテキストのセンチメント分析を行う基本的な手順を説明します。

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import pipeline

tokenizer = BertTokenizer.from_pretrained("kk08/CryptoBERT")
model = BertForSequenceClassification.from_pretrained("kk08/CryptoBERT")

classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
text = "Bitcoin (BTC) touches $29k, Ethereum (ETH) Set To Explode, RenQ Finance (RENQ) Crosses Massive Milestone"
result = classifier(text)
print(result)

[{'label': 'LABEL_1', 'score': 0.9678454399108887}]

✨ 主な機能

このモデルは、金融テキストのセンチメントを分析するための事前学習済みNLPモデルである ProsusAI/finbert をファインチューニングしています。CryptoBERTモデルは、カスタム暗号通貨センチメントデータをダウンストリームタスクとしてモデルを学習させることで、与えられた暗号通貨市場に関連するテキストがポジティブ (LABEL_1) またはネガティブ (LABEL_0) であるかを予測します。

📚 ドキュメント

想定される用途と制限

このモデルは、暗号通貨関連のデータに対して良好な性能を発揮します。主な制限は、ファインチューニングが少量のデータコーパスを使用して行われたことです。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (ベータ=(0.9,0.999)、イプシロン=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 10

学習結果

フレームワークバージョン

• Transformers 4.28.0
• Pytorch 2.0.0+cu118
• Datasets 2.11.0
• Tokenizers 0.13.3

🔧 技術詳細

このモデルは、金融テキストのセンチメント分析に特化したProsusAI/finbertをベースにしています。暗号通貨市場のセンチメントを予測するために、カスタム暗号通貨センチメントデータセットを使用してファインチューニングされています。学習には、一般的な深層学習の手法が用いられ、Adamオプティマイザと線形学習率スケジューラを使用しています。評価セットでの損失値は0.3823であり、これはモデルが一定の性能を持っていることを示しています。ただし、学習データが比較的少ないため、性能には一定の制限があります。