Poro 34B Chat

🚀 Poro 34B Chat

Poro 34B Chat是Poro 34B的聊天調優版本，經過訓練後能夠遵循芬蘭語和英語的指令。量化版本可在Poro 34B-chat-GGUF上獲取。

由於芬蘭語的指令調優數據有限，我們使用Poro 34B基礎模型將英語數據集中的文檔機器翻譯成芬蘭語，然後用這些數據來訓練這個聊天版本。我們僅選擇了可用於商業用途的數據集，並且只有在合成數據的收集符合服務條款的情況下才會使用。

有關芬蘭語數據集的數據選擇和翻譯過程的更多信息，請訪問LumiOpen/instruction-collection-fin頁面。

Poro由來自Silo AI的SiloGen、圖爾庫大學的TurkuNLP小組以及高性能語言技術（HPLT）合作創建。訓練在LUMI超級計算機上進行，使用了芬蘭科學信息技術中心CSC慷慨提供的計算資源。

該項目是為非英語語言（尤其是像芬蘭語這樣的低資源語言）創建開源大語言模型的持續努力的一部分。通過結合英語和芬蘭語的訓練數據，我們得到了一個性能優於以往僅針對芬蘭語的模型，同時該模型在英語和代碼方面也很流利，並且能夠進行英語和芬蘭語之間的基本翻譯。

🚀 快速開始

Poro 34B Chat是一個強大的多語言聊天模型，以下將為你詳細介紹其相關信息，助你快速開啟使用之旅。

✨ 主要特性

• 多語言支持：支持芬蘭語和英語，能夠處理兩種語言的指令。
• 性能優越：結合英語和芬蘭語訓練數據，性能優於以往僅針對芬蘭語的模型。
• 代碼與翻譯能力：能夠流利處理英語和代碼，還能進行英語和芬蘭語之間的基本翻譯。

📦 安裝指南

文檔中未提及具體安裝步驟，暫無法提供。

💻 使用示例

基礎用法

<|im_start|>system 
You can add an optional system prompt here.<|im_end|> 
<|im_start|>user 
Miten rakennan tietokoneen?<|im_end|>
<|im_start|>assistant 

📚 詳細文檔

微調

Poro-34b-Chat是Poro-34b在芬蘭語和英語指令數據集集合上的SFT微調版本。該數據集集合大致由40%的英語、40%的芬蘭語和20%的跨語言條目組成。

我們以2e - 05的學習率、0.1的預熱比例和48的全局批量大小對基礎模型進行了3個輪次的微調。對於全參數微調，我們使用了3個節點（每個節點8個GPU）。我們使用對齊手冊代碼進行微調。

數據集

芬蘭語和跨語言

• LumiOpen/instruction-collection-fin

英語

• databricks-dolly-15k
• Curated OASST2
• Argilla/10k_prompts_ranked_mistral_large_responses

聊天模板

我們使用ChatML聊天模板，例如：

<|im_start|>system 
You can add an optional system prompt here.<|im_end|> 
<|im_start|>user 
Miten rakennan tietokoneen?<|im_end|>
<|im_start|>assistant 

評估

我們依靠流行的MTBench基準來評估多輪對話性能。

由於MTBench是僅針對英語的基準，我們還發布了這個支持多語言且包含機器翻譯的芬蘭語提示的MTBench芬蘭語分支。以下是我們在兩個基準上的得分。

注：於2024年6月18日更新

🔧 技術細節

Poro-34b-Chat的微調過程涉及到多個技術細節。它是在芬蘭語和英語指令數據集集合上對Poro-34b進行SFT微調。數據集集合的語言比例為40%英語、40%芬蘭語和20%跨語言條目。微調時，學習率設置為2e - 05，預熱比例為0.1，全局批量大小為48。全參數微調使用了3個節點（每個節點8個GPU），並採用了對齊手冊代碼。這些技術細節的設置和選擇，有助於模型在多語言場景下獲得更好的性能。

📄 許可證

Poro 34B chat採用Apache 2.0許可證發佈。

📚 引用

@misc{luukkonen2024poro,
      title={Poro 34B and the Blessing of Multilinguality},
      author={Risto Luukkonen and Jonathan Burdge and Elaine Zosa and Aarne
Talman and Ville Komulainen and Väinö Hatanpää and Peter Sarlin and Sampo
Pyysalo},
      year={2024},
      eprint={2404.01856},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}