Compoundpiece

🚀 複合詞規範化模型

本項目是一個複合詞規範化模型，源自論文 CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models，可有效提升語言模型的複合詞分解性能。

🚀 快速開始

本模型支持以下多種語言：

• 南非語（af）、阿塞拜疆語（az）、白俄羅斯語（be）、保加利亞語（bg）、孟加拉語（bn）、加泰羅尼亞語（ca）、捷克語（cs）、威爾士語（cy）、丹麥語（da）、德語（de）、希臘語（el）、英語（en）、世界語（eo）、西班牙語（es）、愛沙尼亞語（et）、巴斯克語（eu）、波斯語（fa）、芬蘭語（fi）、法語（fr）、弗裡西亞語（fy）、愛爾蘭語（ga）、加利西亞語（gl）、古吉拉特語（gu）、希伯來語（he）、印地語（hi）、匈牙利語（hu）、亞美尼亞語（hy）、印尼語（id）、冰島語（is）、意大利語（it）、格魯吉亞語（ka）、哈薩克語（kk）、吉爾吉斯語（ky）、拉丁語（la）、立陶宛語（lt）、拉脫維亞語（lv）、馬爾加什語（mg）、馬其頓語（mk）、馬拉雅拉姆語（ml）、馬耳他語（mt）、荷蘭語（nl）、旁遮普語（pa）、波蘭語（pl）、葡萄牙語（pt）、羅馬尼亞語（ro）、俄語（ru）、斯洛伐克語（sk）、阿爾巴尼亞語（sq）、瑞典語（sv）、泰米爾語（ta）、泰盧固語（te）、泰語（th）、土耳其語（tr）、烏克蘭語（uk）、意第緒語（yi）、約魯巴語（yo）

訓練數據集：benjamin/compoundpiece

💻 使用示例

基礎用法

from transformers import pipeline

pipe = pipeline("text2text-generation", "benjamin/compoundpiece")

pipe("Hauswirtschaftslehre", max_length=32)
# [{'generated_text': 'Haus-Wirtschaft-Lehre'}]

📖 引用說明

如果您使用了本模型，請按照以下格式進行引用：

@article{minixhofer2023compoundpiece,
  title={CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models},
  author={Minixhofer, Benjamin and Pfeiffer, Jonas and Vuli{\'c}, Ivan},
  journal={arXiv preprint arXiv:2305.14214},
  year={2023}
}

📄 許可證

本項目採用 MIT 許可證。