Qwen3 1.7B Q8 0 GGUF

🚀 Triangle104/Qwen3-1.7B-Q8_0-GGUF

このモデルは、llama.cppを使用してggml.aiのGGUF-my-repoスペースを通じて、Qwen/Qwen3-1.7BからGGUF形式に変換されました。モデルの詳細については、元のモデルカードを参照してください。

✨ 主な機能

Qwen3は、Qwenシリーズの最新世代の大規模言語モデルで、高密度モデルとエキスパート混合（MoE）モデルの包括的なセットを提供します。広範なトレーニングに基づいて構築され、Qwen3は推論、命令追従、エージェント機能、および多言語サポートにおいて画期的な進歩をもたらし、以下の主要な機能を備えています。

• 単一のモデル内で、思考モード（複雑な論理推論、数学、コーディング用）と非思考モード（効率的な汎用対話用）をシームレスに切り替えることを独自にサポートし、さまざまなシナリオで最適なパフォーマンスを確保します。
• 推論能力が大幅に向上し、数学、コード生成、および常識的な論理推論において、以前のQwQ（思考モード）およびQwen2.5命令モデル（非思考モード）を上回っています。
• 人間の好みとの高度なアライメントを実現し、創作的な文章作成、ロールプレイ、多ターン対話、および命令追従に優れ、より自然で魅力的な対話体験を提供します。
• エージェント機能に精通しており、思考モードと非思考モードの両方で外部ツールとの精密な統合を可能にし、複雑なエージェントベースのタスクにおいてオープンソースモデルの中でトップクラスのパフォーマンスを達成します。
• 100以上の言語と方言をサポートし、多言語の命令追従と翻訳に強力な能力を備えています。

📦 インストール

llama.cppを使用する場合

brewを通じてllama.cppをインストールします（MacとLinuxで動作します）。

brew install llama.cpp

💻 使用例

llama.cppのCLIを使用する場合

llama-cli --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -p "The meaning to life and the universe is"

llama.cppのサーバーを使用する場合

llama-server --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -c 2048

注意: Llama.cppリポジトリに記載されている使用手順を直接使用してこのチェックポイントを使用することもできます。

手順1: llama.cppをGitHubからクローンする

git clone https://github.com/ggerganov/llama.cpp

手順2: llama.cppフォルダに移動し、LLAMA_CURL=1フラグと他のハードウェア固有のフラグ（例：LinuxのNvidia GPUの場合はLLAMA_CUDA=1）でビルドする

cd llama.cpp && LLAMA_CURL=1 make

手順3: メインバイナリを通じて推論を実行する

./llama-cli --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -c 2048

📚 ドキュメント

モデル概要

Qwen3-1.7Bは以下の特徴を持っています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。