Sentence Transformers Experimental Hubert Hungarian

🚀 匈牙利實驗性句子BERT

本項目基於預訓練的 huBERT 模型，在 Hunglish 2.0 平行語料庫上進行微調，以模仿 UKPLab 提供的 bert-base-nli-stsb-mean-tokens 模型。通過對 huBERT 輸出應用平均池化，得到句子嵌入。數據被劃分為訓練集（98%）和驗證集（2%）。訓練結束時，驗證集上的均方誤差為 0.106。我們的代碼基於 Sentence-Transformers 庫。模型在單張 GTX 1080Ti GPU 上訓練了 2 個輪次，批次大小設置為 32，訓練時長約為 15 小時。

✨ 主要特性

• 基於預訓練的 huBERT 模型進行微調。
• 在 Hunglish 2.0 平行語料庫上訓練。
• 模仿 UKPLab 的 bert-base-nli-stsb-mean-tokens 模型。
• 通過平均池化獲得句子嵌入。

📦 安裝指南

暫未提供安裝步驟相關內容，可參考 Sentence-Transformers 庫的安裝方法。

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('NYTK/sentence-transformers-experimental-hubert-hungarian')
embeddings = model.encode(sentences)
print(embeddings)

🔧 技術細節

本項目使用預訓練的 huBERT 模型，並在 Hunglish 2.0 平行語料庫上進行微調。數據被劃分為 98% 的訓練集和 2% 的驗證集。通過對 huBERT 輸出應用平均池化來獲取句子嵌入。訓練過程中，模型在單張 GTX 1080Ti GPU 上訓練了 2 個輪次，批次大小設置為 32，訓練時長約為 15 小時。訓練結束時，驗證集上的均方誤差為 0.106。

📚 詳細文檔

侷限性

• max_seq_length = 128

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

如果您使用了此模型，請引用以下論文：

@article {bertopic,
    title = {Analyzing Narratives of Patient Experiences: A BERT Topic Modeling Approach},
    journal = {Acta Polytechnica Hungarica},
    year = {2023},
    author = {Osváth, Mátyás and Yang, Zijian Győző and Kósa, Karolina},
    pages = {153--171},
    volume = {20},
    number = {7}
}