Athena-70B-L3-i1-GGUFオープンソース大規模言語モデル - 英语文本生成を無料でサポート

ホーム

Athena 70B L3 I1 GGUF

mradermacherによって開発

Athena-70B-L3は70Bパラメータ規模の大規模言語モデルで、英文テキスト生成タスクをサポートし、パラメータ効率的なファインチューニング技術を採用しています。

大規模言語モデル

Transformers

英語#70Bパラメータ量子化 #IQ高効率量子化 #英文テキスト生成

ダウンロード数 141

リリース時間 : 6/28/2024

モデル概要

Athena-70B-L3はtransformersライブラリに基づく大規模言語モデルで、テキスト生成タスクに特化しており、高品質なテキスト出力が必要なシナリオに適しています。

モデル特徴

パラメータ効率的なファインチューニング

パラメータ効率的なファインチューニング技術を採用し、モデル性能を維持しながら計算リソース要件を削減できます。

マルチ量子化バージョン

さまざまなハードウェアと性能ニーズに対応するため、極端な圧縮から高品質な推論まで、複数の量子化バージョンを提供します。

高品質テキスト生成

高品質で一貫性のある英文テキストの生成に特化しており、さまざまなテキスト生成タスクに適しています。

モデル能力

テキスト生成

テキスト推論

使用事例

テキスト生成

コンテンツ作成

高品質な記事、ストーリー、その他のクリエイティブなテキストコンテンツを生成します。

対話システム

インテリジェントな対話システムの構築に使用され、一貫性があり自然な対話応答を提供します。

🚀 Athena-70B-L3 の量子化モデル

このプロジェクトは、AiMavenAi/Athena-70B-L3 モデルの量子化バージョンを提供します。量子化されたモデルは、GGUF 形式で提供され、さまざまなサイズと品質の選択肢があります。

🚀 クイックスタート

概要

このモデルは、https://huggingface.co/AiMavenAi/Athena-70B-L3 の重み付き/imatrix 量子化バージョンです。静的量子化モデルは https://huggingface.co/mradermacher/Athena-70B-L3-GGUF で入手できます。

モデル情報

属性	详情
ベースモデル	AiMavenAi/Athena-70B-L3
言語	en
ライブラリ名	transformers
ライセンス	cc-by-nc-nd-4.0
量子化者	mradermacher

✨ 主な機能

さまざまな量子化タイプとサイズの選択肢を提供します。
マルチパートファイルの連結方法など、GGUF ファイルの使用方法に関する詳細なガイドがあります。

📚 ドキュメント

モデルについて

https://huggingface.co/AiMavenAi/Athena-70B-L3 の重み付き/imatrix 量子化モデルです。静的量子化モデルは https://huggingface.co/mradermacher/Athena-70B-L3-GGUF で入手できます。

使用方法

GGUF ファイルの使用方法がわからない場合は、TheBloke's READMEs を参照してください。マルチパートファイルの連結方法などの詳細が記載されています。

提供される量子化モデル

（サイズ順に並べられており、必ずしも品質順ではありません。IQ 量子化モデルは、同じサイズの非 IQ 量子化モデルよりも優れていることが多いです。）

リンク	タイプ	サイズ (GB)	備考
GGUF	i1-IQ1_S	15.4	非常に必要な場合
GGUF	i1-IQ1_M	16.9	ほとんど必要な場合
GGUF	i1-IQ2_XXS	19.2
GGUF	i1-IQ2_XS	21.2
GGUF	i1-IQ2_S	22.3
GGUF	i1-IQ2_M	24.2
GGUF	i1-Q2_K	26.5	IQ3_XXS の方が良いかも
GGUF	i1-IQ3_XXS	27.6	低品質
GGUF	i1-IQ3_XS	29.4
GGUF	i1-IQ3_S	31.0	Q3_K* より良い
GGUF	i1-Q3_K_S	31.0	IQ3_XS の方が良いかも
GGUF	i1-IQ3_M	32.0
GGUF	i1-Q3_K_M	34.4	IQ3_S の方が良いかも
GGUF	i1-Q3_K_L	37.2	IQ3_M の方が良いかも
GGUF	i1-IQ4_XS	38.0
GGUF	i1-Q4_0	40.2	高速、低品質
GGUF	i1-Q4_K_S	40.4	最適なサイズ/速度/品質
GGUF	i1-Q4_K_M	42.6	高速、おすすめ
GGUF	i1-Q5_K_S	48.8
GGUF	i1-Q5_K_M	50.0
PART 1 PART 2	i1-Q6_K	58.0	実質的に静的 Q6_K と同じ

品質比較グラフ

ikawrakow による低品質量子化タイプの比較グラフです（値が低いほど良い）。

FAQ / モデルリクエスト

質問に対する回答や他のモデルの量子化リクエストは、https://huggingface.co/mradermacher/model_requests を参照してください。

📄 ライセンス

このモデルは cc-by-nc-nd-4.0 ライセンスの下で提供されています。

🙏 謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーの使用とワークステーションのアップグレードを許可していただき、感謝いたします。また、@nicoboss には、私がより多くの imatrix 量子化モデルを高品質で提供できるよう、プライベートスーパーコンピューターへのアクセスを許可していただき、感謝いたします。