Longchat-13b-16kオープンソースチャットボット - 16kの長文コンテキスト対話をサポートし、無料で利用可能

Home

Longchat 13b 16k

Developed by lmsys

llama-13bを微調整したオープンソースのチャットボットで、16kのコンテキスト長をサポートし、ShareGPTプラットフォームのユーザーが共有した対話からトレーニングデータを取得

大規模言語モデル

Transformers

#長文対話 #圧縮回転位置埋め込み #16Kコンテキスト

Downloads 14.21k

Release Time : 6/28/2023

Model Overview

longchat-13b-16kはオープンソースのチャットボットモデルで、主に研究目的に使用され、特に長文対話シナリオの処理に適しています。

Model Features

長文コンテキストサポート

16kトークンのコンテキスト長をサポートし、長い対話シナリオの処理に適しています

圧縮回転位置埋め込み

特殊な位置符号化技術を採用し、長文処理能力を強化

オープンソースで微調整可能

オープンソースのLLaMAアーキテクチャをベースに、さらなる微調整をサポート

Model Capabilities

長文対話生成

マルチターン対話理解

オープンドメインQA

Use Cases

研究応用

長文対話システム研究

長文コンテキスト対話システムの性能と能力を研究するために使用

位置符号化技術研究

圧縮回転位置埋め込みが長文処理においてどのような効果をもたらすかを研究

🚀 longchat-13b-16kモデルカード

longchat-13b-16kは、特定の技術を用いて訓練されたオープンソースのチャットボットモデルです。研究目的で使用することを想定しており、自然言語処理や機械学習、人工知能の研究者に適しています。

🚀 クイックスタート

FastChatまたはLongChatリポジトリのload_modelを使用してモデルを読み込んでください（またはFastChatのチャットAPIを使用しても構いません）。モデルを使用するにはモンキーパッチが必要です。

使用例の参照: (LongChat) python3 eval.py --model-name-or-path lmsys/longchat-13b-16k --task topics (FastChat) python3 -m fastchat.serve.cli --model-path lmsys/longchat-13b-16k

モンキーパッチは以下の場所に追加されています: https://github.com/lm-sys/FastChat/blob/da0641e567cf93756b0978ab5a6b092e96f06240/fastchat/model/model_adapter.py#L429

✨ 主な機能

longchat-13b-16kは、ShareGPTから収集されたユーザー共有の会話データを使用して、llama-13bをファインチューニングすることで訓練されたオープンソースのチャットボットです。ブログで報告されている凝縮回転埋め込み技術を使用しています。

📚 ドキュメント

モデルの詳細

属性	详情
モデルタイプ	longchat-13b-16kは、ShareGPTから収集されたユーザー共有の会話データを使用して、llama-13bをファインチューニングすることで訓練されたオープンソースのチャットボットです。ブログで報告されている凝縮回転埋め込み技術を使用しています。
モデルの日付	longchat-13b-16kは2023年6月に訓練されました。
モデルを開発した組織	LongChatの開発者: Dacheng Li, Rulin Shao, Anze Xie, Ying Sheng, Lianmin Zheng, Ion Stoica, Xuezhe Ma, およびHao Zhang
詳細情報の論文またはリソース	https://github.com/DachengLi1/LongChat
モデルに関する質問やコメントを送信する場所	https://github.com/DachengLi1/LongChat