Javabert

🚀 JavaBERTモデルカード

Javaソフトウェアコードで事前学習されたBERTライクなモデルです。このモデルは、Javaコードに関するタスクにおいて高い性能を発揮します。

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めることができます。

from transformers import pipeline
pipe = pipeline('fill-mask', model='CAUKiel/JavaBERT')
output = pipe(CODE) # Javaコードに置き換えてください。コード内のトークン/単語をマスクするには '[MASK]' を使用します。

✨ 主な機能

• Javaソフトウェアコードで事前学習されたBERTライクなモデルです。
• Fill-Maskタスクに使用できます。

📚 ドキュメント

モデル詳細

モデル説明

Javaソフトウェアコードで事前学習されたBERTライクなモデルです。

• 開発者: Christian-Albrechts-University of Kiel (CAUKiel)
• 共有元 [任意]: Hugging Face
• モデルタイプ: Fill-Mask
• 言語 (NLP): en
• ライセンス: Apache-2.0
• 関連モデル: このモデルのuncasedトークナイザを使用したバージョンは CAUKiel/JavaBERT-uncased で利用できます。
  • 親モデル: BERT
• 詳細情報のリソース:
  • 関連論文

使用方法

直接使用

Fill-Mask

下流タスクの使用 [任意]

詳細情報が必要です。

範囲外の使用

このモデルは、人々に敵意や疎外感を与える環境を意図的に作り出すために使用してはなりません。

バイアス、リスク、制限事項

多くの研究が言語モデルのバイアスと公平性の問題を探っています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。このモデルによって生成される予測には、保護されたクラス、アイデンティティ特性、および敏感な社会的および職業的グループにまたがる不快で有害なステレオタイプが含まれる可能性があります。

推奨事項

ユーザー（直接ユーザーと下流ユーザーの両方）は、このモデルのリスク、バイアス、および制限事項を認識すべきです。さらなる推奨事項については、詳細情報が必要です。

トレーニング詳細

トレーニングデータ

このモデルは、GitHub上のオープンソースプロジェクトから取得した2,998,345個のJavaファイルでトレーニングされました。このモデルは bert-base-cased トークナイザを使用しています。

トレーニング手順

トレーニング目的

このモデルは、MLM (Masked Language Model) 目的でトレーニングされました。

前処理

詳細情報が必要です。

速度、サイズ、時間

詳細情報が必要です。

評価

テストデータ、要因、メトリクス

テストデータ

詳細情報が必要です。

要因

詳細情報が必要です。

メトリクス

詳細情報が必要です。

結果

詳細情報が必要です。

モデル検査

詳細情報が必要です。

環境への影響

Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して、炭素排出量を推定することができます。

• ハードウェアタイプ: 詳細情報が必要です。
• 使用時間: 詳細情報が必要です。
• クラウドプロバイダー: 詳細情報が必要です。
• コンピュートリージョン: 詳細情報が必要です。
• 排出された炭素量: 詳細情報が必要です。

技術仕様 [任意]

モデルアーキテクチャと目的

詳細情報が必要です。

コンピュートインフラストラクチャ

ハードウェア

詳細情報が必要です。

ソフトウェア

詳細情報が必要です。

引用

BibTeX:

@inproceedings{De_Sousa_Hasselbring_2021,
  address={Melbourne, Australia},
  title={JavaBERT: Training a Transformer-Based Model for the Java Programming Language},
  rights={https://ieeexplore.ieee.org/Xplorehelp/downloads/license-information/IEEE.html},
  ISBN={9781665435833},
  url={https://ieeexplore.ieee.org/document/9680322/},
  DOI={10.1109/ASEW52652.2021.00028},
  booktitle={2021 36th IEEE/ACM International Conference on Automated Software Engineering Workshops (ASEW)},
  publisher={IEEE},
  author={Tavares de Sousa, Nelson and Hasselbring, Wilhelm},
  year={2021},
  month=nov,
  pages={90–95} }

APA: 詳細情報が必要です。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。