Bloom 1b7 It

🚀 意大利語適配模型卡

本模型通過將bloom - 1b7模型適配到意大利語而得到。在BLOOM模型支持的語言中，並不包含意大利語，這使得它在意大利語場景下的使用具有挑戰性。我們採用MAD - X語言適配策略對原始的BLOOM模型進行了適配。

✨ 主要特性

本模型將bloom - 1b7模型成功適配到意大利語，使用MAD - X語言適配策略，並遵循論文https://arxiv.org/abs/2212.09535 中提出的相同流程。通過從Sarti發佈的意大利語過濾Oscar數據集中選取100,000個示例，結合默認腳本參數，生成了有價值的模型。

📚 詳細文檔

模型詳情

我們使用MAD - X語言適配策略將bloom - 1b7適配到意大利語。為了生成有價值的模型，我們遵循了論文https://arxiv.org/abs/2212.09535 中提出的流程。我們使用默認腳本參數，並從Sarti發佈的意大利語過濾Oscar數據集中選取了100,000個示例。

⚠️ 重要提示

使用適配後的大語言模型時，必須使用適配模型的分詞器。

📄 許可證

BigScience BLOOM RAIL 1.0

📚 引用信息

Pierpaolo Basile, Pierluigi Cassotti, Marco Polignano, Lucia Siciliani, Giovanni Semeraro. On the impact of Language Adaptation for Large Language Models: A case study for the Italian language using only open resources. Proceedings of the Ninth Italian Conference on Computational Linguistics (CLiC - it 2023).