Sentence Transformers Experimental Hubert Hungarian

🚀 ハンガリー語実験的Sentence - BERT

このモデルは、UKPLabによって提供されたbert - base - nli - stsb - mean - tokensモデルを模倣するために、事前学習済みの[huBERT](https://huggingface.co/SZTAKI - HLT/hubert - base - cc)をHunglish 2.0並列コーパスでファインチューニングしたものです。huBERTの出力に平均プーリングを適用することで文埋め込みを取得しました。データは学習セット（98％）と検証セット（2％）に分割されました。学習終了時に、検証セットで0.106の平均二乗誤差が計算されました。コードはSentence - Transformersライブラリに基づいています。このモデルは、単一のGTX 1080Ti GPUカードでバッチサイズを32に設定して2エポック学習され、学習には約15時間かかりました。

✨ 主な機能

• ハンガリー語の文の類似度を計算するための事前学習済みモデル。
• Sentence - Transformersライブラリを利用しているため、簡単に文埋め込みを取得できる。

📦 インストール

このセクションでは、元のREADMEにインストール手順が記載されていないため、省略します。

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('NYTK/sentence-transformers-experimental-hubert-hungarian')
embeddings = model.encode(sentences)
print(embeddings)

📚 ドキュメント

制限事項

• max_seq_length = 128

🔧 技術詳細

• モデルは、事前学習済みのhuBERTをHunglish 2.0並列コーパスでファインチューニングして作成されました。
• 文埋め込みは、huBERTの出力に平均プーリングを適用して取得されました。
• データは学習セット（98％）と検証セット（2％）に分割され、学習終了時に検証セットで平均二乗誤差が計算されました。
• コードはSentence - Transformersライブラリに基づいており、単一のGTX 1080Ti GPUカードで2エポック学習され、バッチサイズは32に設定されました。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

📄 引用

このモデルを使用する場合は、次の論文を引用してください。

@article {bertopic,
    title = {Analyzing Narratives of Patient Experiences: A BERT Topic Modeling Approach},
    journal = {Acta Polytechnica Hungarica},
    year = {2023},
    author = {Osváth, Mátyás and Yang, Zijian Győző and Kósa, Karolina},
    pages = {153--171},
    volume = {20},
    number = {7}
}