Gpt3 Finnish Xl

🚀 芬蘭語15億參數生成式預訓練Transformer模型

這是一個為芬蘭語設計的、擁有15億參數的生成式預訓練Transformer模型。TurkuNLP芬蘭GPT - 3系列模型是基於BLOOM架構的預訓練單語GPT風格語言模型家族。需要注意的是，這些模型是純粹的語言模型，也就是說它們沒有針對對話或回答問題進行指令微調。這些模型旨在作為基礎模型使用，例如可以進行指令微調，以用作現代聊天模型。

🚀 快速開始

本模型可作為基礎模型，為後續開發如現代聊天模型等應用提供支持。

✨ 主要特性

• 基於BLOOM架構的預訓練單語GPT風格語言模型。
• 所有模型均針對3000億個標記進行訓練。

📚 詳細文檔

參數信息

數據集

我們使用了多種芬蘭語資源的組合：

• 芬蘭互聯網解析庫：https://turkunlp.org/finnish_nlp.html
• mC4多語言大型清理通用爬蟲數據：https://huggingface.co/datasets/mc4
• 通用爬蟲芬蘭語數據：https://TODO
• 芬蘭語維基百科：https://fi.wikipedia.org/wiki
• Lönnrot項目：http://www.lonnrot.net/
• 國家圖書館電子圖書（”epub”）館藏
• 國家圖書館期刊（”lehdet”）館藏
• Suomi24語料庫（2001 - 2020）：http://urn.fi/urn:nbn:fi:lb-2021101527
• Reddit r/Suomi板塊的帖子和評論：https://www.reddit.com/r/Suomi
• STT芬蘭新聞社檔案（1992 - 2018）：http://urn.fi/urn:nbn:fi:lb-2019041501
• YLE芬蘭新聞檔案（2011 - 2018）：http://urn.fi/urn:nbn:fi:lb-2017070501
• YLE芬蘭新聞檔案（2019 - 2020）：http://urn.fi/urn:nbn:fi:lb-2021050401
• ROOTS：https://TODO

採樣比例

📄 許可證

本項目採用Apache - 2.0許可證。

⚠️ 重要提示

這些模型是純粹的語言模型，未針對對話或回答問題進行指令微調。

更多文檔和相關論文即將發佈。