Open Llm Search

🚀 Open LLM Search

大規模言語モデルに対する需要が高まる中、インターネットを直接検索できないという共通の制限が顕在化しています。Open LLM Searchは、ウェブページから情報を抽出するために特別に調整されたモデルで、検索タスクで優れた性能を発揮します。

🚀 クイックスタート

• 実際に体験してみましょう！こちらからライブデモを確認できます。
• 自作が好きな方は、GitHubリポジトリを利用して、このソリューションを探索または自前でデプロイしてください。

✨ 主な機能

一般的な大規模言語モデルがインターネットを直接検索できないという制限を解消し、ウェブページからの情報抽出に特化しています。70億のパラメータしか持っていませんが、微調整された機能と拡張されたコンテキスト制限により、検索タスクで優れた性能を発揮します。

🔧 技術詳細

モデル概要

大規模言語モデルに対する需要が高まる中、インターネットを直接検索できないという共通の制限が顕在化しています。Google（Bard搭載）、Bing、Perplexityなどのテック大手がこの課題に取り組んでいますが、それらの独自の方法にはデータロギングの問題があります。

Open LLM Searchは、Together AIのllama - 2 - 7b - 32kモデルを特別に調整したもので、ウェブページから情報を抽出するために設計されています。このモデルは70億のパラメータしか持っていませんが、微調整された機能と拡張されたコンテキスト制限により、検索タスクで優れた性能を発揮します。

微調整プロセス

モデルの微調整には、GPT - 4とGPT - 4 - 32kを組み合わせて合成データを生成しました。以下は使用されたトレーニングワークフローです。

1. GPT - 4を使用して多数のクエリを生成します。
2. 各クエリについて、Googleから上位5つのウェブサイトの結果を特定します。
3. これらのウェブサイトからコンテンツを抽出し、GPT - 4 - 32kを使用して要約します。
4. GPT - 4 - 32kからのテキストと要約を記録して微調整します。
5. すべての5つのソースからの要約をGPT - 4に入力して、まとまりのある応答を作成します。
6. GPT - 4からの入力と出力の両方を記録して微調整します。

微調整は<instructions>:、<user>:、<assistant>:の形式で行われました。

📄 ライセンス

このモデルはMetaのLlama 2ライセンスを使用しています。