Zion Alpha Instruction Tuned SLERP

🚀 Zion_Alpha_Instruction_Tuned_SLERP

Zion_Alpha_Instruction_Tuned_SLERPは、世界初の本格的なヘブライ語モデルです。高度な技術で微調整され、様々なタスクで高い性能を発揮します。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。まず、必要な依存関係をインストールし、モデルをダウンロードします。その後、推奨のプロンプト設定や命令テンプレートを使用して、モデルを実行します。

✨ 主な機能

• 高い性能：ヘブライ語の感情分析やSNLIスコアで世界最高レベルの成績を達成しました。
• 多言語対応：英語とヘブライ語の相互翻訳が可能です。
• 多様なタスク対応：ストーリーの作成や長文翻訳など、様々なタスクに対応しています。

📦 インストール

• Base model: FP16
• Instruction tuned: FP16 | GGUF

💻 使用例

基本的な使用法

推奨のプロンプト設定はDebug-deterministicです。

temperature: 1
top_p: 1
top_k: 1
typical_p: 1
min_p: 1
repetition_penalty: 1

高度な使用法

推奨の命令テンプレートはMistralです。

{%- for message in messages %}
    {%- if message['role'] == 'system' -%}
        {{- message['content'] -}}
    {%- else -%}
        {%- if message['role'] == 'user' -%}
            {{-'[INST] ' + message['content'].rstrip() + ' [/INST]'-}}
        {%- else -%}
            {{-'' + message['content'] + '</s>' -}}
        {%- endif -%}
    {%- endif -%}
{%- endfor -%}
{%- if add_generation_prompt -%}
    {{-''-}}
{%- endif -%}

📚 ドキュメント

モデルの詳細

Zion_Alphaは世界初の本格的なヘブライ語モデルです。このバージョンはタスク用に微調整されており、最先端の技術と長年の経験を活かして開発されました。

世界記録の達成

2024年6月10日、このモデルはヘブライ語のLLMにおいて世界最高の感情分析スコア70.3を達成し、サイズが5倍の35Bモデルを上回りました。

将来の計画

以前のLLMであるZion_Alphaは、ヘブライ語のオープンLLMにおいてHugging Faceで最高のSNLIスコア84.05を達成し、世界記録を樹立しました。現在のモデルはSLERPマージされたもので、SNLIスコアはやや低いものの、感情分析スコア70.3で世界一を獲得し、皆を驚かせました。これは、トレーニングプロセスの最適化には大きな可能性があり、7Bモデルがこれまで考えられていた以上の性能をヘブライ語で発揮できることを示しています。これはしばらくの間の最後のヘブライ語モデルになります。

スポンサー募集

すべての作業はオンプレミスで行われているため、現在のハードウェアに制約されています。A6000の取得に対する支援をいただけると、大幅に大きなモデルをはるかに高速にトレーニングすることができます。

論文について

可能性はありますが、保証はできません。

連絡先

自己紹介が苦手で、ソーシャルメディアアカウントも持っていません。連絡を取りたい場合は、sicariussicariistuff@gmail.comまでメールを送ってください。このメールアドレスには対応しきれないほどのメッセージが届く可能性があるため、すべての人に返信できない場合はあらかじめごめんなさい。

バージョンとQUANTS

• Base model: FP16
• Instruction tuned: FP16 | GGUF

モデルアーキテクチャ

Mistral 7Bに基づいています。トークナイザーは変更していません。

歴史

このモデルはMistral (v0.1)がリリースされてから約2か月後にトレーニングされました。2024年6月4日現在、Zion_Alphaはヘブライ語のオープンソースモデルの中で世界最高のSNLIスコアを獲得し、他のほとんどのモデルを大きく上回っています（スコア84.05）。

🔧 技術詳細

このモデルはMistral 7Bに基づいて構築されており、高度な微調整技術を用いて開発されました。トークナイザーは変更されておらず、元のMistralのトークナイザーが使用されています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📋 引用情報

@llm{Zion_Alpha_Instruction_Tuned_SLERP,
  author = {SicariusSicariiStuff},
  title = {Zion_Alpha_Instruction_Tuned_SLERP},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/SicariusSicariiStuff/Zion_Alpha_Instruction_Tuned_SLERP}
}

サポート

• My Ko-fi page すべての寄付は研究資源とコンピューティングに充てられます。
• My Patreon すべての寄付は研究資源とコンピューティングに充てられます。