Sentence Transformers Experimental Hubert Hungarian

🚀 匈牙利实验性句子BERT

本项目基于预训练的 huBERT 模型，在 Hunglish 2.0 平行语料库上进行微调，以模仿 UKPLab 提供的 bert-base-nli-stsb-mean-tokens 模型。通过对 huBERT 输出应用平均池化，得到句子嵌入。数据被划分为训练集（98%）和验证集（2%）。训练结束时，验证集上的均方误差为 0.106。我们的代码基于 Sentence-Transformers 库。模型在单张 GTX 1080Ti GPU 上训练了 2 个轮次，批次大小设置为 32，训练时长约为 15 小时。

✨ 主要特性

• 基于预训练的 huBERT 模型进行微调。
• 在 Hunglish 2.0 平行语料库上训练。
• 模仿 UKPLab 的 bert-base-nli-stsb-mean-tokens 模型。
• 通过平均池化获得句子嵌入。

📦 安装指南

暂未提供安装步骤相关内容，可参考 Sentence-Transformers 库的安装方法。

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('NYTK/sentence-transformers-experimental-hubert-hungarian')
embeddings = model.encode(sentences)
print(embeddings)

🔧 技术细节

本项目使用预训练的 huBERT 模型，并在 Hunglish 2.0 平行语料库上进行微调。数据被划分为 98% 的训练集和 2% 的验证集。通过对 huBERT 输出应用平均池化来获取句子嵌入。训练过程中，模型在单张 GTX 1080Ti GPU 上训练了 2 个轮次，批次大小设置为 32，训练时长约为 15 小时。训练结束时，验证集上的均方误差为 0.106。

📚 详细文档

局限性

• max_seq_length = 128

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用

如果您使用了此模型，请引用以下论文：

@article {bertopic,
    title = {Analyzing Narratives of Patient Experiences: A BERT Topic Modeling Approach},
    journal = {Acta Polytechnica Hungarica},
    year = {2023},
    author = {Osváth, Mátyás and Yang, Zijian Győző and Kósa, Karolina},
    pages = {153--171},
    volume = {20},
    number = {7}
}