Llama 30b Supercot

🚀 [huggyllama/llama - 30b]と[kaiokendev/SuperCOT - LoRA]のマージ

SuperCOTは、langchainのプロンプトと連携するように学習されています。

ローカルでは、Oobaboogaモジュールを使用してモデルを読み込む独自のLLMノートブックで読み込むことができます: https://github.com/ausboss/Local-LLM-Langchain

その後、テスト用にこれらの他のノートブックからセルを追加できます: https://github.com/gkamradt/langchain-tutorials

🚀 クイックスタート

このプロジェクトは、huggyllama/llama-30b と kaiokendev/SuperCOT-LoRA をマージしたもので、langchainのプロンプトと連携するように学習されたSuperCOTを提供します。

✨ 主な機能

• SuperCOTはlangchainのプロンプトと連携するように学習されています。
• ローカルで独自のLLMノートブックを使用してモデルを読み込むことができます。
• 他のノートブックからセルを追加してテストすることができます。

📚 ドキュメント

Koikendev Loraページより

互換性

このLoRAは、7B、13B、または30Bの4ビット量子化LLaMaモデル（ggml量子化変換バイナリを含む）と互換性があります。

プロンプト

このLoRAに対しては、AlpacaまたはAlpacinoにプロンプトを与えるのと同じ方法でプロンプトを与える必要があります。

以下はタスクを説明する指示と、さらなるコンテキストを提供する入力がペアになったものです。要求を適切に完了する応答を書いてください。

### 指示:
<指示>

### 入力:
<追加のコンテキスト。必要ない場合はこれを削除してください>

### 応答:
<最適な結果を得るために、ここに1行空けてください>

パラメータサイズが小さいほど、プロンプトの構造が重要になります。同じプロンプトでも表現を変えるだけで大きく異なる回答が得られることがあります。出力品質を向上させるために、以下の提案の接尾辞を使用することを検討してください。

• "これを段階的に考えてみましょう"
• "これを論理的に考えてみましょう"
• "あなたの推論を説明してください"
• "あなたの回答を支持する詳細を提供してください"
• "あなたの回答を他の選択肢と比較してください"

近日公開予定

• 13Bと7Bのツイート修正 - モデルサイズが小さいほど、学習データの応答の末尾のハッシュタグに非常に敏感に反応する傾向があり、特に長いカットオフで顕著です。