Zeta 2

🚀 Zeta 2

Zeta 2は、「一般消費者がLLMを作成できる」ことを実証したZeta 1からさらに一歩前進することを目指した、Zetaの新バージョンです。

🚀 クイックスタート

Zeta 2は、一般消費者向けのコンピュータで心血を注いで作成されたSLM（Small Language Model）です。このモデルは約4億6000万のパラメータを持ち、Zeta 1からの進化版として開発されました。

Ollama: DiamondGotCat/Zeta-2

✨ 主な機能

量子化モデル (GGUF)

• Static Quant
• Weighted/imatrix Quant

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

{{ if .System }}{{ .System }}{{ end }}
{{ if .Prompt }}<USER>{{ .Prompt }}</USER>{{ end }}
<ASSISTANT>

📚 ドキュメント

コンピュータ仕様

マシン: Mac Mini (M2 Pro, 32GB RAM, 2023)

これは技術的な問題ですが、Apple Silicon搭載のMacでは、CPUまたはMPS（Appleの独自API）のどちらかを選択する必要があります。

CPUはいくつかの互換性がありますが、非常に遅いです。

MPSはやや高速ですが、fp16などの最適化システムを使用することはできません。

Zeta 2はMPSを使用して構築されました。

トレーナーの引数

• 学習エポック数: 3
• ウォームアップステップ数: 100

データセット

使用したデータセットの詳細はこちらで確認できます。

リンク

GitHub: Zeta

🔧 技術詳細

Zeta 2は約4億6000万のパラメータを持つLLM（Large Language Model）です。

むしろSLM（Small Language Model）と呼んだほうが適切かもしれません。

Zeta 2は、消費者向けのコンピュータで骨の折れる作業を繰り返して作成されたSLMです。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。