Poro 34B Chat

🚀 Poro 34B Chat

Poro 34B Chatは、Poro 34B をチャット用に微調整したバージョンで、フィンランド語と英語の両方で命令に従うように訓練されています。量子化されたバージョンは Poro 34B-chat-GGUF で入手可能です。

フィンランド語の命令微調整データが限られているため、英語のデータセットの文書をPoro 34Bのベースモデルで機械翻訳してフィンランド語に変換し、このチャットバージョンの訓練に使用しました。商用利用可能なデータセットのみを選択し、合成データが含まれる場合は、サービス利用規約に準拠して収集されたもののみを使用しました。

フィンランド語データセットのデータ選択と翻訳プロセスに関する詳細情報は、LumiOpen/instruction-collection-fin ページで確認できます。

Poroは、Silo AI の SiloGen、Turku大学の TurkuNLPグループ、および High Performance Language Technologies (HPLT) の共同プロジェクトです。訓練は LUMIスーパーコンピュータ 上で行われ、CSC - IT Center for Science, Finland から提供されたコンピューティングリソースを使用しました。

このプロジェクトは、英語以外の言語、特にフィンランド語のような低リソース言語向けのオープンソース大規模言語モデルを作成するための継続的な取り組みの一部です。英語とフィンランド語の訓練データを組み合わせることで、以前のフィンランド語専用モデルを上回る性能を持ち、英語とコードにも流暢で、英語とフィンランド語の基本的な翻訳も可能なモデルを得ることができます。

✨ 主な機能

• フィンランド語と英語の両方で命令に従うことができる。
• 量子化されたバージョンが利用可能で、メモリ使用量を削減できる。
• 英語とフィンランド語の訓練データを組み合わせることで、性能が向上している。
• 英語とフィンランド語の間の基本的な翻訳が可能。

📦 インストール

原文書にインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

<|im_start|>system 
You can add an optional system prompt here.<|im_end|> 
<|im_start|>user 
Miten rakennan tietokoneen?<|im_end|>
<|im_start|>assistant 

📚 ドキュメント

微調整

Poro-34b-Chatは、Poro-34bをフィンランド語と英語の命令データセットのコレクションでSFT微調整したものです。このコレクションは、およそ40%の英語、40%のフィンランド語、および20%の多言語エントリで構成されています。

ベースモデルを3エポック、学習率2e-05、ウォームアップ率0.1、グローバルバッチサイズ48で微調整しました。全パラメータ微調整には、3ノード（ノードあたり8GPU）を使用しました。微調整には Alignment Handbook のコードを使用しました。

データセット

フィンランド語と多言語

• LumiOpen/instruction-collection-fin

英語

• databricks-dolly-15k
• Curated OASST2
• Argilla/10k_prompts_ranked_mistral_large_responses

評価

一般的なMTBenchベンチマークを使用して、マルチターン性能を評価しました。

MTBenchは英語のみのベンチマークであるため、多言語対応と機械翻訳されたフィンランド語のプロンプトを持つ MTBench Finnish のフォークも公開しています。両方のベンチマークのスコアは以下の通りです。

注: 2024年6月18日に更新

🔧 技術詳細

原文書に技術的な詳細説明が不十分であるため、このセクションは省略されます。

📄 ライセンス

Poro 34B chatは、Apache 2.0ライセンスの下で公開されています。

引用

@misc{luukkonen2024poro,
      title={Poro 34B and the Blessing of Multilinguality},
      author={Risto Luukkonen and Jonathan Burdge and Elaine Zosa and Aarne
Talman and Ville Komulainen and Väinö Hatanpää and Peter Sarlin and Sampo
Pyysalo},
      year={2024},
      eprint={2404.01856},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}