Distilbert Base Uncased Indonesia Squadv2

🚀 distilbert-base-uncased-indonesia-squadv2

このモデルは、不明なデータセットでdistilbert-base-uncasedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 1.9144

🚀 クイックスタート

このモデルは、特定のデータセットでファインチューニングされたもので、質問応答タスクに使用できます。以下に簡単な使い方を示します。

💻 使用例

基本的な使用法

from transformers import pipeline
qa_pipeline = pipeline(
    "question-answering",
    model="asaduas/distilbert-base-uncased-indonesia-squadv2",
    tokenizer="asaduas/distilbert-base-uncased-indonesia-squadv2"
)
qa_pipeline(
    {
        'context': "Pada tahun 1512 juga Afonso de Albuquerque mengirim Antonio Albreu dan Franscisco Serrao untuk memimpin armadanya mencari jalan ke tempat asal rempah-rempah di Maluku. Sepanjang perjalanan, mereka singgah di Madura, Bali, dan Lombok. Dengan menggunakan nakhoda-nakhoda Jawa, armada itu tiba di Kepulauan Banda, terus menuju Aibku Utara sampai tiba di Ternate.",
        'question': "Siapa yang dikirim oleh Afonso de Albuquerque Pada tahun 1512?"
    }
)

出力:

[
  {'score': 0.8919295072555542,
  'start': 51,
  'end': 88,
  'answer': ' Antonio Albreu dan Franscisco Serrao'}
]

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e-05
• 学習バッチサイズ: 8
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 3

学習結果

フレームワークバージョン

• Transformers 4.25.1
• Pytorch 1.12.1+cu113
• Datasets 2.7.1
• Tokenizers 0.13.2

評価結果

{'exact': 42.29721064443732,
 'f1': 54.120071422699546,
 'total': 24952,
 'HasAns_exact': 42.29721064443732,
 'HasAns_f1': 54.120071422699546,
 'HasAns_total': 24952,
 'best_exact': 42.29721064443732,
 'best_exact_thresh': 0.0,
 'best_f1': 54.120071422699546,
 'best_f1_thresh': 0.0}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。