Netbert

🚀 NetBERT 📶

NetBERTは、コンピュータネットワーキングのテキストが大量に含まれるコーパス（約23Gb）でさらに事前学習されたBERT-baseモデルです。

🚀 クイックスタート

NetBERTを使って、マスク付き言語モデリング（MLM）や、下流タスクのファインチューニングができます。下流タスクとしては、テキスト分類、抽出型質問応答、セマンティック検索など、文章全体を使って判断を行うタスクが想定されています。

💻 使用例

基本的な使用法

from transformers import pipeline

unmasker = pipeline('fill-mask', model='antoinelouis/netbert')
unmasker("The nodes of a computer network may include [MASK].")

高度な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained('antoinelouis/netbert')
model = AutoModel.from_pretrained('antoinelouis/netbert')

text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

📚 ドキュメント

事前学習モデル、その実装、およびデータに関する詳細なドキュメントは、Githubで確認できます。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

引用

学術的な文脈での引用には、次のように引用してください。

@mastersthesis{louis2020netbert,
    title={NetBERT: A Pre-trained Language Representation Model for Computer Networking},
    author={Louis, Antoine},
    year={2020},
    school={University of Liege}
}