SAM

🚀 SAM (Small Agentic Model)

SAM (Small Agentic Model)は、7Bパラメータのモデルです。サイズが小さいにも関わらず、印象的な推論能力を示しています。SAM-7Bは、GSM8kやARC-Cなどの様々な推論ベンチマークで、既存のSoTAモデルを上回っています。

このモデルの詳細については、リリースブログ記事をご覧ください。

🚀 クイックスタート

SAM (Small Agentic Model)は、小規模でありながら高い推論能力を備えた7Bモデルです。多くの推論ベンチマークで既存のモデルを上回っており、詳細はリリースブログ記事で公開されています。

✨ 主な機能

• SAM-7Bは、ARC-CやGSM8kなどの複数の推論ベンチマークで、GPT 3.5、Orca、およびいくつかの70Bモデルを上回っています。
• 興味深いことに、SAM-7Bは学習データセットが97%小さいにも関わらず、GSM8kでOrca-13Bを上回っています。
• 微調整データセット内のすべての応答は、GPT-3.5やGPT-4などの最先端モデルの支援なしに、オープンソースモデルによって生成されています。

📦 インストール

このセクションでは、モデルを使用するための基本的なセットアップ手順を説明します。

モデルのロード

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "SuperAGI/SAM"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

💻 使用例

基本的な使用法

# モデルを使用してテキストを生成する例
text = "Can elephants fly?"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 ドキュメント

トレーニング情報

プロンプトテンプレート

Instructモデルのプロンプトを構築するために使用されるテンプレートは、以下のように定義されています。

<s> [INST] Instruction [/INST] Model answer</s> [INST] Follow-up instruction [/INST]

なお、<s> と </s> は文字列の開始 (BOS) と終了 (EOS) の特殊トークンであり、[INST] と [/INST] は通常の文字列です。

評価

これらのベンチマークは、当社のモデルがorca 2-7b、orca 2-13b、およびGPT-3.5と比較して、推論能力が向上していることを示しています。サイズが小さいにも関わらず、より優れた多段階推論能力を示しています。

注: 最適なパフォーマンスを得るためには、Temperature=0.3を推奨します。

制限事項

SAMは、オープンソースの大規模言語モデルを使用して生成された少量の高品質データを用いることで、より良い推論能力を誘導できることを示すデモンストレーションです。このモデルは、会話や単純な質問応答には適しておらず、タスクの分解と推論においてより良いパフォーマンスを発揮します。また、モデレーションメカニズムがないため、毒性、社会的バイアス、言語の制限に対するガードレールがないため、本番環境での使用には適していません。私たちは、より安全で良質なモデルを構築するために、コミュニティとの協力を歓迎しています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

開発チーム

Anmol Gautam、Arkajit Datta、Rajat Chawla、Ayush Vatsal、Sukrit Chatterjee、Adarsh Jha、Abhijeet Sinha、Rakesh Krishna、Adarsh Deep、Ishaan Bhola、Mukunda NS、Nishant Gaurav