Cmd Gen Codellama 13b Calm Demo

🚀 コマンド生成モデルのモデルカード

このモデルは、Rasaによって開発された対話理解（DU）モデルです。 Rasaによって開発された言語モデルを用いた対話型AI（CALM）アプローチで構築されたアシスタントを強力にサポートすることができます。

📚 ドキュメント

🔍 モデルの詳細

モデルの説明

このモデルは、AIアシスタントとユーザー間の進行中の会話のトランスクリプトと、アシスタントのビジネスロジックに関する構造化情報を入力として受け取ります。 出力として、以下のリストから短いコマンドのシーケンス（通常1 - 3個）を生成します。

• StartFlow(flow_name)
• SetSlot(slot_name, slot_value)
• CorrectSlot(slot_name, slot_value)
• Clarify(flow_name_1, flow_name_2, ...)
• ChitChat
• KnowledgeAnswer
• HumanHandoff
• Error

このモデルは、Rasaによって解釈されるコマンドのみを生成することができます。 任意のテキストを生成するために使用することはできません。

コマンド生成モデルは、ユーザーメッセージをこの内部文法に変換し、CALMが会話を進めることを可能にします。

例:

I want to transfer money

StartFlow(transfer_money)

I want to transfer $55 to John

StartFlow(transfer_money), SetSlot(recipient, John), SetSlot(amount, 55)

• 開発者: Rasa Technologies
• モデルタイプ: テキスト生成
• 言語 (NLP): 英語
• ライセンス: Apache 2.0
• ファインチューニング元のモデル [オプション]: CodeLlama 13b Instruct

💡 使用方法

直接使用

このモデルは、あなたのCALMアシスタントのフローがrasa-calm-demoアシスタントで使用されているフローと類似している場合、コマンド生成コンポーネントの一部として直接使用することができます。

下流利用 [オプション]

このモデルは、rasa proで利用可能なファインチューニングレシピ機能を使用して、独自のアシスタントのデータでさらにファインチューニングするためのベースモデルとしても使用できます。

想定外の使用

このモデルは、コマンドの文法を出力するように明示的にファインチューニングされているため、他の自由形式のコンテンツを生成するために使用すべきではありません。

⚠️ バイアス、リスク、および制限事項

コマンド生成モデルは、会話を解釈し、ユーザーメッセージをコマンドに変換します。 これらのコマンドはRasaによって処理され、会話を進めます。 このモデルは、エンドユーザーに送信するテキストを生成せず、問題のあるまたは有害なテキストを生成することはできません。

ただし、他の事前学習モデルと同様に、その予測はバイアスの影響を受けやすいです。 たとえば、モデルの精度は使用される言語によって異なります。著者は英語でのパフォーマンスをテストしましたが、他の言語でのモデルのテストは行っていません。

📈 トレーニングの詳細

トレーニングデータ

rasa/command-generation-calm-demo-v1のtrainスプリットでトレーニングされました。

トレーニング手順

こちらにあるノートブックを使用してトレーニングされました。80GB VRAMの単一のA100 GPUを使用しました。

🧪 評価

テストデータ、要因、およびメトリクス

テストデータ

rasa/command-generation-calm-demo-v1のtestスプリットで評価されました。

メトリクス

各コマンドタイプ（StartFlow、SetSlotなど）のF1スコアが、テストスプリットでモデルを評価するために選択された主要なメトリクスです。 これにより、モデルがうまく学習したコマンドと、さらにトレーニングが必要なコマンドを理解することができます。

結果

以下の表は、このモデルの各コマンドのF1スコアを示しています。

📞 モデルカードの問い合わせ

[詳細情報が必要です]