Bertweet Tb2 Ewt Pos Tagging

🚀 TweebankNLPの品詞タグ付けモデル

このモデルは、Tweebank V2のNERベンチマーク（Tweebank-NER）で最高水準のパフォーマンスを達成し、高精度な品詞タグ付けを行います。

🚀 クイックスタート

このモデルは、Tweebank-NERとEnglish-EWTの両方の学習データを組み合わせたコーパスで学習された、Tweebank V2のNERベンチマーク（Tweebank-NER）で最高水準のパフォーマンスを誇るTwitterの品詞タグ付けモデル（精度95.38%）です。 TweebankNLPプロジェクトの詳細については、この論文とGitHubページを参照してください。論文中では、品詞表でHuggingFace-BERTweet (TB2+EWT)として参照されています。

✨ 主な機能

• Tweebank V2のNERベンチマークで高い精度（95.38%）を達成。
• Tweebank-NERとEnglish-EWTの学習データを組み合わせたコーパスで学習。

📦 インストール

このモデルを使用するには、以下のコードを実行してください。

from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("TweebankNLP/bertweet-tb2_ewt-pos-tagging")

model = AutoModelForTokenClassification.from_pretrained("TweebankNLP/bertweet-tb2_ewt-pos-tagging")

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("TweebankNLP/bertweet-tb2_ewt-pos-tagging")

model = AutoModelForTokenClassification.from_pretrained("TweebankNLP/bertweet-tb2_ewt-pos-tagging")

高度な使用法

# ツイートにモデルを適用する際には、TweetTokenizerで前処理を行うことで最高のパフォーマンスを得ることができます。
from transformers import AutoTokenizer, AutoModelForTokenClassification
from TweetNormalizer import TweetTokenizer

tweet = "This is a sample tweet."
preprocessed_tweet = TweetTokenizer().tokenize(tweet)

tokenizer = AutoTokenizer.from_pretrained("TweebankNLP/bertweet-tb2_ewt-pos-tagging")
model = AutoModelForTokenClassification.from_pretrained("TweebankNLP/bertweet-tb2_ewt-pos-tagging")

📚 ドキュメント

• 前処理: ツイートにモデルを適用する際には、TweetTokenizerで前処理を行うことで最高のパフォーマンスを得ることができます。

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。

📖 参考文献

このリポジトリを研究で使用する場合は、この論文を引用してください。

@article{jiang2022tweetnlp,
    title={Annotating the Tweebank Corpus on Named Entity Recognition and Building NLP Models for Social Media Analysis},
    author={Jiang, Hang and Hua, Yining and Beeferman, Doug and Roy, Deb},
    journal={In Proceedings of the 13th Language Resources and Evaluation Conference (LREC)},
    year={2022}
}