AIRIC The Mistral

🚀 AIRIC-The-Mistral

このモデルはMistral-v0.1をベースに、AIRICデータセットを他のデータセットと組み合わせて訓練されたものです。会話ができるロボットを作り、アシスタントとしても使えるようにすることを目的としています。

🚀 クイックスタート

このモデルはMistral-v0.1をベースに、AIRICデータセットを以下のデータセットと組み合わせて訓練されています。

• Open-Orca/OpenOrca
• ise-uiuc/Magicoder-Evol-Instruct-110K
• tatsu-lab/alpaca
• garage-bAInd/Open-Platypus

3エポック、ランク128で訓練を行い、損失が約1.37になるまで学習させました。モデルには意図的な検閲は行っていませんが、「覚えておくことが重要」といった表現があり、それを取り除くことを検討しています。

このモデルの目的は、会話ができるロボットを作り、アシスタントとしても使えるようにすることです。適切なパラメータを設定すると、「何をしているの？」と聞くと、実際に生活をしているかのように答えてくれます。リリース前に、元々チャットボットとして公開したものに比べて、OpenOrcaのデータを大量に混ぜ込み、実用性を高めました。最も社交的な結果を得るには、top_pを.98に設定してください。

元の投稿はこちら：https://www.reddit.com/r/LocalLLaMA/comments/154to1w/i_trained_the_65b_model_on_my_texts_so_i_can_talk/

データ抽出方法はこちら：https://www.linkedin.com/pulse/how-i-trained-ai-my-text-messages-make-robot-talks-like-eric-polewski-9nu1c/

これはAlpacaフォーマットで訓練された命令型モデルです。

5-bit exl2はこちらから入手可能：https://huggingface.co/ericpolewski/AIRIC-The-Mistral-5.0bpw-exl2

8-bit exl2はこちらから入手可能：https://huggingface.co/ericpolewski/AIRIC-The-Mistral-8.0bpw-exl2

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。