Distilbert Base Uncased Indonesia Squadv2

🚀 distilbert-base-uncased-indonesia-squadv2

本模型是 distilbert-base-uncased 在未知數據集上的微調版本。它在評估集上取得了以下結果：

• 損失值：1.9144

🚀 快速開始

簡單使用示例

from transformers import pipeline
qa_pipeline = pipeline(
    "question-answering",
    model="asaduas/distilbert-base-uncased-indonesia-squadv2",
    tokenizer="asaduas/distilbert-base-uncased-indonesia-squadv2"
)
qa_pipeline(
    {
        'context': "Pada tahun 1512 juga Afonso de Albuquerque mengirim Antonio Albreu dan Franscisco Serrao untuk memimpin armadanya mencari jalan ke tempat asal rempah-rempah di Maluku. Sepanjang perjalanan, mereka singgah di Madura, Bali, dan Lombok. Dengan menggunakan nakhoda-nakhoda Jawa, armada itu tiba di Kepulauan Banda, terus menuju Aibku Utara sampai tiba di Ternate.",
        'question': "Siapa yang dikirim oleh Afonso de Albuquerque Pada tahun 1512?"
    }
)

輸出示例

[
  {'score': 0.8919295072555542,
  'start': 51,
  'end': 88,
  'answer': ' Antonio Albreu dan Franscisco Serrao'}
]

📚 詳細文檔

模型描述

更多信息待補充。

預期用途與限制

更多信息待補充。

訓練和評估數據

更多信息待補充。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：2e - 05
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 訓練輪數：3

訓練結果

框架版本

• Transformers 4.25.1
• Pytorch 1.12.1+cu113
• Datasets 2.7.1
• Tokenizers 0.13.2

評估結果

{'exact': 42.29721064443732,
 'f1': 54.120071422699546,
 'total': 24952,
 'HasAns_exact': 42.29721064443732,
 'HasAns_f1': 54.120071422699546,
 'HasAns_total': 24952,
 'best_exact': 42.29721064443732,
 'best_exact_thresh': 0.0,
 'best_f1': 54.120071422699546,
 'best_f1_thresh': 0.0}

📄 許可證

本模型採用 Apache 2.0 許可證。

🔍 模型示例

示例 1 - 姓名

• 問題："Siapa yang mendirikan Sunda Pura?"
• 上下文："Pada tahun 397 M, Raja Purnawarman mendirikan Sunda Pura, yang terletak di pantai utara Jawa Barat, sebagai ibu kota baru kerajaan.Ibu kota kerajaan Tarumanagara tersebut kemungkinan besar terletak di suatu tempat antara Kecamatan Tugu, Jakarta Utara dan Kabupaten Bekasi, Jawa Barat. Purnawarman meninggalkan tujuh batu peringatan di seluruh daerah tersebut, termasuk Provinsi Banten dan Jawa Barat saat ini, yang terdiri dari prasasti yang memuat namanya"

示例 2 - 時間

• 問題："Kapan Orang Belanda datang ke Jayakarta?"
• 上下文："Orang Belanda datang ke Jayakarta sekitar akhir abad ke - 16, setelah singgah di Banten pada 1596. Jayakarta pada awal abad ke - 17 diperintah oleh Pangeran Jayakarta, salah seorang kerabat Kesultanan Banten."

示例 3 - 時間

• 問題："Kapan ulang tahun jakarta?"
• 上下文："Penetapan 22 Juni sebagai hari ulang tahun Jakarta didasari momen Fatahillah berhasil mengusir Portugis dari Sunda Kelapa pada 22 Juni 1527."