Synapsellm 7b Mistral V0.4 Preview2

🚀 SynapseLLM

SynapseLLMは、WebraftAIによる大きな成果であり、堅牢で汎用的かつ分散型の情報システムを構築するために設計された一連の大規模言語AIモデルを表しています。このリポジトリには、特にMistralをファインチューニングしたSynapseLLMのバージョンが収められています。ファインチューニングは、範囲は限られていますが、コードと通常の質問応答シナリオに焦点を当てたカスタムデータセットで行われています。この適応は、モデルの汎用性と特定のドメイン内での適用可能性を示しており、AIの進歩の幅広い分野に貢献しています。

✨ 主な機能

SynapseLLMは、70億パラメータのデコーダー専用のトランスフォーマーベースのモデルで、チャットの質問応答とコード命令に対してファインチューニングされています。特定のデータセットでのファインチューニングにより、特定のドメインでの汎用性と適用可能性が高まっています。

📦 インストール

このモデルは、transformersライブラリを使用して簡単にロードできます。以下のコードを参考にしてください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("WebraftAI/synapsellm-7b-mistral-v0.4-preview2")
model = AutoModelForCausalLM.from_pretrained("WebraftAI/synapsellm-7b-mistral-v0.4-preview2")

prompt= "<s>[INST] Hello!  [/INST] "

device = "cuda"

model_inputs = tokenizer([prompt], return_tensors="pt").to(device)
model.to(device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
print(tokenizer.batch_decode(generated_ids)[0])

📚 ドキュメント

モデル詳細

SynapseLLM:

• パラメータ: 7B
• 学習率: 2e-4
• 使用アダプター: Qlora
• 精度: float16
• バッチサイズ: 32
• 最大勾配ノルム: 0.3
• オプティマイザー: paged_adamw_32bit
• ウォームアップ率: 0.03
• ステップ数（学習済み）: 150
• エポック数（学習済み）: 1

モデル説明

これは、70億パラメータのデコーダー専用のトランスフォーマーベースのモデルで、チャットの質問応答とコード命令に対してファインチューニングされています。Mistral 7B v0.1を、77万行のサンプルデータセット（36.1万の数学の命令質問応答、14.3万のGPT-3.5質問応答、14万の一般的なコード、6.3万のPythonコード、5.4万の一般的な質問応答（GPT-4経由））でプレビューファインチューニングしたものです。これは、学習済みのアダプターとマージされてコンパイルされた完全なモデルなので、transformersライブラリを通じて簡単にロードできます。

• 開発者: WebraftAI
• 資金提供元: Webraft Cloud
• 共有者: WebraftAI
• モデルタイプ: デコーダー専用トランスフォーマー
• 言語: 英語のみ
• ライセンス: Apache 2.0
• ファインチューニング元のモデル: Mistral-7b-v0.1

プロンプト形式

このモデルは、Mistral instruct 7b v0.1と同じプロンプト形式に従っています。サンプルプロンプトを以下に示します。

<s>[INST] Hello, how are you? [/INST]

モデルのバイアス

このモデルにはいくつかのバイアスがあります。以下に説明します。

• モデルは事実に誤った情報を出力する可能性があります。
• モデルはシステムプロンプトに従いません。
• モデルには何らかのメモリがないため、研究者はメモリを供給する実験を行うことができます。
• モデルは異なるデータで学習されているため、情報にバイアスをかけたり、自分自身をGPTモデルと主張したりすることがあります。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。