Kaleidoscope Small V1

🚀 文檔問答模型 - Kaleidoscope_small_v1

本模型是sberbank-ai/ruBert-base的微調版本，專為文檔問答任務而設計。它能夠從給定的文檔上下文中提取答案，並在包含上下文、問題和答案三元組的自定義JSON數據集上進行了微調。

✨ 主要特性

• 目標：根據用戶的問題從文檔中提取答案。
• 基礎模型：sberbank-ai/ruBert-base。
• 數據集：一個自定義的JSON文件，包含上下文、問題和答案字段。
• 預處理：通過將問題和文檔上下文連接起來形成輸入，引導模型關注相關段落。

📦 安裝指南

文檔中未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained("LaciaStudio/Kaleidoscope_small_v1")
model = AutoModelForQuestionAnswering.from_pretrained("LaciaStudio/Kaleidoscope_small_v1")
model.to(device)

file_path = input("Enter document path: ")
with open(file_path, "r", encoding="utf-8") as f:
    context = f.read()

while True:
    question = input("Enter question (or 'exit' to quit): ")
    if question.lower() == "exit":
        break
    inputs = tokenizer(question, context, return_tensors="pt", truncation=True, max_length=384)
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model(**inputs)
    start_logits = outputs.start_logits
    end_logits = outputs.end_logits
    start_index = torch.argmax(start_logits)
    end_index = torch.argmax(end_logits)
    answer_tokens = inputs["input_ids"][0][start_index:end_index + 1]
    answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
    print("Answer:", answer)

問答示例

俄語

• 上下文：

Альберт Эйнштейн разработал теорию относительности.

• 問題：

Кто разработал теорию относительности?

• 答案：

альберт эинштеин

英語

• 上下文：

I had a red car.

• 問題：

What kind of car did I have?

• 答案：

a red car

📚 詳細文檔

該模型使用Transformers庫和自定義訓練管道進行微調。訓練過程的關鍵方面包括：

• 自定義數據集：加載器讀取包含上下文、問題和答案三元組的JSON文件。
• 特徵準備：腳本使用滑動窗口方法對文檔和問題進行分詞，以處理長文本。
• 訓練過程：利用混合精度訓練和AdamW優化器來改進優化過程。
• 評估和檢查點：訓練腳本在驗證集上評估模型性能，保存檢查點，並根據驗證損失採用提前停止策略。

該模型非常適合交互式文檔問答任務，是客戶支持、文檔搜索和自動問答系統等應用的強大工具。雖然該模型主要針對俄語文本，但也支持英語輸入。

注意：該模型支持英語，但對英語的支持尚未經過測試。

🔧 技術細節

訓練設置

• 訓練輪數：20。
• 每設備批次大小：4。
• 預熱步數：總步數的0.1。
• 啟用FP16訓練（如果CUDA可用）。
• 硬件：在1xRTX 3070上進行訓練。

📄 許可證

本項目採用CC BY-NC 4.0許可證。

微調者：LaciaStudio | LaciaAI