Openchat 3.5 0106 Gemma

🚀 世界で最も性能の高いGemmaモデル

このモデルは、OpenChatのC - RLFTを用いてopenchat - 3.5 - 0106データで学習されています。Mistralベースのopenchatと同等の性能を達成し、Gemma - 7bやGemma - 7b - itよりもはるかに優れています。

詳細については、[openchat - 3.5 - 0106](https://huggingface.co/openchat/openchat - 3.5 - 0106)を参照してください。

P.S.: 6Tの事前学習トークン + 0.003の初期標準偏差 + C - RLFTが成功の秘訣でしょうか？

P.P.S.: @Googleチーム、私たちはあなた方のモデルが素晴らしいことを知っていますが、Mistral（あるいはPhiやOrca）のようなOSI承認のライセンスを使用してください。

✨ 主な機能

ベンチマーク

*: Gemma - 7b - itは、ほとんどのfew - shotテンプレートを理解し、従うことができませんでした。

📦 インストール

このモデルを使用するには、リポジトリのインストールガイドに従ってOpenChatパッケージをインストールし、下の表のサービングコマンドを実行してOpenChatのOpenAI互換APIサーバーを使用することを強くおすすめします。サーバーは、[vLLM](https://github.com/vllm - project/vllm)を使用して高スループットのデプロイに最適化されており、24GBのRAMを持つ消費者向けGPUで実行できます。テンソル並列を有効にするには、サービングコマンドに--tensor - parallel - size Nを追加してください。

起動すると、サーバーはlocalhost:18888でリクエストを待ち受け、[OpenAI ChatCompletion API仕様](https://platform.openai.com/docs/api - reference/chat)と互換性があります。以下の例のリクエストを参考にしてください。また、[OpenChat Web UI](https://github.com/imoneoi/openchat#web - ui)を使用すると、使いやすい体験が得られます。

サーバーをオンラインサービスとしてデプロイする場合は、--api - keys sk - KEY1 sk - KEY2 ...を使用して許可されたAPIキーを指定し、--disable - log - requests --disable - log - stats --log - file openchat.logを使用してログをファイルにのみ記録することができます。セキュリティ上の理由から、サーバーの前に[HTTPSゲートウェイ](https://fastapi.tiangolo.com/es/deployment/concepts/#security - https)を使用することをおすすめします。

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openchat_3.5_gemma_new",
    "messages": [{"role": "user", "content": "You are a large language model named OpenChat. Write a poem to describe yourself"}]
  }'

💻 使用例

基本的な使用法

このモデルの使用方法については、上記のインストールとサービングの手順に従ってください。以下は、サーバーにリクエストを送信する例です。

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openchat_3.5_gemma_new",
    "messages": [{"role": "user", "content": "You are a large language model named OpenChat. Write a poem to describe yourself"}]
  }'

📚 詳細ドキュメント

会話テンプレート

⚠️ 重要提示

これはMistralバージョンとは異なります。ターン終了トークンは現在<end_of_turn>です（Mistralバージョンは<|end_of_turn|>）。生成終了トークンとして<end_of_turn>を設定することを忘れないでください。

GPT4 Correct User: Hello<end_of_turn>GPT4 Correct Assistant: Hi<end_of_turn>GPT4 Correct User: How are you today?<end_of_turn>GPT4 Correct Assistant:

システムメッセージ付き（推奨しません、性能が低下する可能性があります）

You are a helpful assistant.<end_of_turn>GPT4 Correct User: Hello<end_of_turn>GPT4 Correct Assistant: Hi<end_of_turn>GPT4 Correct User: How are you today?<end_of_turn>GPT4 Correct Assistant:

存在しない情報の生成

OpenChatは、存在しないまたは正確でない情報を生成することがあります。これは「幻覚」とも呼ばれます。ユーザーはこの可能性を認識し、モデルから得られた重要な情報を検証する必要があります。

安全性

OpenChatは、有害な、憎悪表現、偏った応答を生成することがあり、安全でない質問に答えることもあります。安全で適切な応答が必要なユースケースでは、追加のAIセキュリティ対策を適用することが重要です。

📄 ライセンス

当社のOpenChat 3.5のコードとモデルは、Apache License 2.0の下で配布されています。

引用

@article{wang2023openchat,
  title={OpenChat: Advancing Open-source Language Models with Mixed-Quality Data},
  author={Wang, Guan and Cheng, Sijie and Zhan, Xianyuan and Li, Xiangang and Song, Sen and Liu, Yang},
  journal={arXiv preprint arXiv:2309.11235},
  year={2023}
}

💌 お問い合わせ

プロジェクトリード:

• Guan Wang [imonenext at gmail dot com]
• Alpay Ariyak [aariyak at wpi dot edu]