Home 3B V1 GGUF

🚀 Home 3B

「Home」モデルは、MicrosoftのPhi - 2モデルをファインチューニングしたものです。このモデルは、ユーザーの家のデバイスを制御することができるだけでなく、基本的な質問応答も行うことができます。ファインチューニングに使用されるデータセットは、Cleaned Stanford Alpaca Datasetと、モデルに関数呼び出しを教えるために設計されたカスタムデータセットの組み合わせです。

このモデルは、Lama.cppを使用して量子化されており、Raspberry PiのようなHome Assistantのインストールに一般的な超低リソース環境でもモデルを実行できるようになっています。

このモデルは、ChatMLプロンプト形式を使用して「instruct」タイプのモデルとして使用することができます。システムプロンプトは、利用可能なデバイスや呼び出し可能なサービスを含むHome Assistantインストールの状態に関する情報を提供するために使用されます。

🚀 クイックスタート

「Home」モデルを使用するには、まずシステムプロンプトを設定する必要があります。以下はシステムプロンプトの例です。

You are 'Al', a helpful AI Assistant that controls the devices in a house. Complete the following task as instructed with the information provided only.
Services: light.turn_off, light.turn_on, fan.turn_on, fan.turn_off
Devices:
light.office 'Office Light' = on
fan.office 'Office fan' = off
light.kitchen 'Kitchen Light' = on

モデルからの出力は、ユーザーに返信する応答と、任意のコードブロック（異なるHome Assistantの「サービス」を呼び出す）で構成されます。モデルの関数呼び出しの出力形式は次のとおりです。

turning on the kitchen lights for you now
```homeassistant
light.turn_on(light.kitchen)
```

ファインチューニング時に使用されるデータの混合により、このモデルは基本的な指示やQAタスクも実行できます。例えば、以下のような基本的な論理タスクを実行できます。

user if mary is 7 years old, and I am 3 years older than her. how old am I?
assistant If Mary is 7 years old, then you are 10 years old (7+3=10).

✨ 主な機能

• ユーザーの家のデバイスを制御することができます。
• 基本的な質問応答を行うことができます。
• 超低リソース環境での実行が可能です。

🔧 技術詳細

トレーニング

このモデルは、カスタムトレーニングスクリプトを使用してRTX 3090（24GB）上でLoRAとしてトレーニングされ、勾配チェックポイントを有効にしています。LoRAのランクは32、アルファは64で、fc1,fc2,Wqkv,out_projモジュールを対象とし、wte,lm_head.linearモジュールを「保存」します。埋め込み重みは「保存」され、ランク行列とともに通常通りトレーニングされ、埋め込みに新たに追加されたトークンをトレーニングします。最後に、完全なモデルが統合されます。

📦 データセット

• Snythetic Dataset for SFT - https://github.com/acon96/home-llm
• Stanford Alpaca Cleaned - https://huggingface.co/datasets/yahma/alpaca-cleaned

📄 ライセンス

このモデルは、Microsoft Phiモデルシリーズ（MITライセンス）をファインチューニングしたもので、CC BY - NC - 4.0でライセンスされたデータセットを利用しています。したがって、このモデルは同じ非商用のCreative Commonsライセンスでリリースされています。ファインチューニングされたモデルは、研究目的のみで共有されています。商業的な用途には使用できません。