Kochatbart

🚀 😎 KoChatBART

KoChatBART 是一個基於韓國語對話文本訓練的語言模型。它以 BART（Bidirectional and Auto-Regressive Transformers）為基礎，通過在輸入文本的部分內容添加噪聲並將其恢復為原文的 autoencoder 形式進行訓練。具體來說，它使用了論文中的 Text Infilling 噪聲函數，在約 10GB 以上的韓國語對話文本上進行訓練，最終得到了在對話生成方面表現穩健的 KoChatBART-base 模型並進行了發佈。

🚀 快速開始

以下是使用 KoChatBART 模型的簡單示例代碼：

from transformers import AutoTokenizer, BartForConditionalGeneration
  
tokenizer = AutoTokenizer.from_pretrained("BM-K/KoChatBART")
model = BartForConditionalGeneration.from_pretrained("BM-K/KoChatBART")

inputs = tokenizer("안녕 세상아!", return_tensors="pt")
outputs = model(**inputs)

📚 詳細文檔

🔍 預訓練數據預處理

在訓練 KoChatBART 模型時，使用了以下數據集：

• 主題文本日常對話數據
• 個體工商戶客戶訂單問答文本
• 韓國語 SNS 數據
• 信訪業務自動化人工智能語言數據

為了訓練 KoChatBART，對這些韓國語對話數據集進行了預處理併合併成了大規模的韓國語對話語料庫，具體處理步驟如下：

1. 減少數據重複：當出現像 'ㅋㅋㅋㅋㅋㅋ' 這樣重複兩次以上的表達時，將其替換為 'ㅋㅋ'。
2. 篩選合適數據：由於太短的數據可能會干擾訓練，因此只選擇了以 KoBART 分詞器為標準，總詞元長度超過 3 的數據。
3. 去除化名數據：移除了經過化名處理的數據。

📊 模型參數

💬 對話生成性能評估

基於以下代碼(對話生成器)對各個模型進行了微調。為了評估對話生成性能，在推理時對經過分詞處理後生成的回覆進行還原，然後使用 BPE 分詞器測量實際回覆與生成回覆之間的重疊度和獨特性。

⚠️ 重要提示

由於該模型通常是使用短對話數據進行預訓練的，因此在處理需要長文本處理的任務（如文本摘要）時表現可能不佳。

實驗結果

• 情感對話數據：情感對話數據集

• 個體工商戶對話數據：個體工商戶對話數據集

👥 貢獻者

📖 參考資料

• KoBART