Distilbert Base Uncased Indonesia Squadv2

🚀 distilbert-base-uncased-indonesia-squadv2

本模型是 distilbert-base-uncased 在未知数据集上的微调版本。它在评估集上取得了以下结果：

• 损失值：1.9144

🚀 快速开始

简单使用示例

from transformers import pipeline
qa_pipeline = pipeline(
    "question-answering",
    model="asaduas/distilbert-base-uncased-indonesia-squadv2",
    tokenizer="asaduas/distilbert-base-uncased-indonesia-squadv2"
)
qa_pipeline(
    {
        'context': "Pada tahun 1512 juga Afonso de Albuquerque mengirim Antonio Albreu dan Franscisco Serrao untuk memimpin armadanya mencari jalan ke tempat asal rempah-rempah di Maluku. Sepanjang perjalanan, mereka singgah di Madura, Bali, dan Lombok. Dengan menggunakan nakhoda-nakhoda Jawa, armada itu tiba di Kepulauan Banda, terus menuju Aibku Utara sampai tiba di Ternate.",
        'question': "Siapa yang dikirim oleh Afonso de Albuquerque Pada tahun 1512?"
    }
)

输出示例

[
  {'score': 0.8919295072555542,
  'start': 51,
  'end': 88,
  'answer': ' Antonio Albreu dan Franscisco Serrao'}
]

📚 详细文档

模型描述

更多信息待补充。

预期用途与限制

更多信息待补充。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：2e - 05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 训练轮数：3

训练结果

框架版本

• Transformers 4.25.1
• Pytorch 1.12.1+cu113
• Datasets 2.7.1
• Tokenizers 0.13.2

评估结果

{'exact': 42.29721064443732,
 'f1': 54.120071422699546,
 'total': 24952,
 'HasAns_exact': 42.29721064443732,
 'HasAns_f1': 54.120071422699546,
 'HasAns_total': 24952,
 'best_exact': 42.29721064443732,
 'best_exact_thresh': 0.0,
 'best_f1': 54.120071422699546,
 'best_f1_thresh': 0.0}

📄 许可证

本模型采用 Apache 2.0 许可证。

🔍 模型示例

示例 1 - 姓名

• 问题："Siapa yang mendirikan Sunda Pura?"
• 上下文："Pada tahun 397 M, Raja Purnawarman mendirikan Sunda Pura, yang terletak di pantai utara Jawa Barat, sebagai ibu kota baru kerajaan.Ibu kota kerajaan Tarumanagara tersebut kemungkinan besar terletak di suatu tempat antara Kecamatan Tugu, Jakarta Utara dan Kabupaten Bekasi, Jawa Barat. Purnawarman meninggalkan tujuh batu peringatan di seluruh daerah tersebut, termasuk Provinsi Banten dan Jawa Barat saat ini, yang terdiri dari prasasti yang memuat namanya"

示例 2 - 时间

• 问题："Kapan Orang Belanda datang ke Jayakarta?"
• 上下文："Orang Belanda datang ke Jayakarta sekitar akhir abad ke - 16, setelah singgah di Banten pada 1596. Jayakarta pada awal abad ke - 17 diperintah oleh Pangeran Jayakarta, salah seorang kerabat Kesultanan Banten."

示例 3 - 时间

• 问题："Kapan ulang tahun jakarta?"
• 上下文："Penetapan 22 Juni sebagai hari ulang tahun Jakarta didasari momen Fatahillah berhasil mengusir Portugis dari Sunda Kelapa pada 22 Juni 1527."