Customer Support Bot

🚀 LLaMA 3.1を使用したカスタマーサポートチャットボット

これは、微調整されたLLaMA 3.1 8Bモデルによって駆動されるエンドツーエンドのカスタマーサポートチャットボットソリューションです。Flask、Docker、AWS ECSを使用してデプロイされ、カスタマーサポートシナリオで効率的かつインテリジェントな対話サービスを提供します。

🚀 クイックスタート

このプロジェクトは、カスタマーサポート会話で微調整されたLLaMA 3.1 8Bモデルを利用して、複雑なカスタマーサポートチャットボットを実装しています。このソリューションは、LoRA微調整とさまざまな量子化技術を用いて推論を最適化し、Fargateを備えたAWS ECS上にコンテナ化アプリケーションとしてデプロイされます。

✨ 主な機能

• 微調整されたLLaMA 3.1モデル：Bitextカスタマーサポートデータセットを使用して、カスタマーサポートに特化しています。
• 最適化された推論：4ビット、8ビット、16ビットの量子化が実装されています。
• コンテナ化デプロイ：Dockerに基づくデプロイにより、一貫性と拡張性が保証されます。
• クラウドインフラストラクチャ：Fargateを備えたAWS ECS上にホストされ、サーバーレスなコンテナ管理が可能です。
• CI/CDパイプライン：AWS CodePipelineを使用して自動化デプロイが実現されています。
• モニタリング：AWS CloudWatchを通じて包括的なログ記録とモニタリングが行われます。

📚 ドキュメント

モデルの詳細

微調整されたモデルはHugging Face上にホストされています。

• モデルリポジトリ：praneethposina/customer_support_bot
• Githubリポジトリ：github.com/praneethposina/Customer_Support_Chatbot
• ベースモデル：LLaMA 3.1 8B
• 訓練データセット：Bitextカスタマーサポートデータセット
• 最適化方法：量子化されたLoRA微調整

技術スタック

スクリーンショット

チャットボット画面

AWS CloudWatchモニタリング

Dockerログ

AWSデプロイ

1. DockerイメージをAmazon ECRにプッシュします。
2. AWS ECSタスク定義を設定します。
3. CI/CD用のAWS CodePipelineを設定します。
4. CloudWatchモニタリングを設定します。

アップロードされたモデル

• 開発者：praneethposina
• ライセンス：apache - 2.0
• 微調整のベースモデル：unsloth/llama-3-8b-bnb-4bit

📄 ライセンス

このプロジェクトはapache - 2.0ライセンスを採用しています。