Wr30a Deep 7B 0711 I1 GGUF

🚀 WR30a-Deep-7B-0711 モデル

このモデルは、テキスト生成推論、画像キャプショニング、光学文字認識など、様々なタスクに対応したビジョンモデルです。提供される重み付き/イマトリックス量子化データを使って、効率的なモデルの運用が可能です。

🚀 クイックスタート

モデルの概要

• ベースモデル: prithivMLmods/WR30a-Deep-7B-0711
• サポート言語: 英語、中国語
• ライブラリ名: transformers
• ライセンス: apache-2.0
• 量子化: mradermacher

関連リンク

• モデルページ: WR30a-Deep-7B-0711
• 静的量子化データ: huggingface.co/mradermacher/WR30a-Deep-7B-0711-GGUF

✨ 主な機能

• テキスト生成推論: 文章の生成に利用できます。
• 画像キャプショニング: 画像に対する説明文を生成します。
• 光学文字認識: 画像中の文字を認識します。
• 知的文字認識: 複雑な文字の認識に対応します。

📚 ドキュメント

モデルについて

このモデルは、https://huggingface.co/prithivMLmods/WR30a-Deep-7B-0711 の重み付き/イマトリックス量子化データを提供しています。静的量子化データは https://huggingface.co/mradermacher/WR30a-Deep-7B-0711-GGUF で利用可能です。

便利な概要とダウンロードリストについては、このモデルのモデルページをご覧ください。

これはビジョンモデルです - mmprojファイル（ある場合）は静的リポジトリにあります。

使用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADMEを参照してください。ここには、マルチパートファイルの連結方法も含め、詳細な情報が記載されています。

提供される量子化データ

（サイズでソートされていますが、必ずしも品質を表すわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる、一部の低品質量子化タイプを比較した便利なグラフがこちらです（数値が低い方が良い）:

また、Artefact2によるこの問題に関する考察はこちらです: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、モデルリクエストページをご覧ください。

謝辞

私の会社であるnethype GmbHに感謝します。彼らは、私が社内のサーバーを使用し、ワークステーションをアップグレードすることを許可してくれたおかげで、私は余暇時間にこの作業を行うことができました。また、@nicobossにも感謝します。彼は私に彼のプライベートスーパーコンピューターへのアクセスを許可してくれたおかげで、私は通常よりもはるかに高品質の多くのイマトリックス量子化データを提供することができました。

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。