Llama3 Aloe 8B Alpha GGUF

🚀 HPAI-BSC/Llama3-Aloe-8B-Alpha - GGUF

このプロジェクトには、HPAI-BSC/Llama3-Aloe-8B-Alpha 用のGGUF形式のモデルファイルが含まれています。これらのファイルは TensorBlock が提供するマシンで量子化されており、コミットb4011 までの llama.cpp と互換性があります。

🚀 クイックスタート

このプロジェクトのGGUF形式のモデルファイルを使用することで、生物学や医学分野の質問応答タスクを行うことができます。以下の手順でモデルをダウンロードして使用してください。

✨ 主な機能

• 分野特化型：生物学および医学分野に特化しており、関連する質問応答タスクに適しています。
• 複数のデータセットでの学習：argilla/dpo-mix-7k、nvidia/HelpSteer など、複数の高品質データセットを使用して学習されています。
• モデル互換性：提供されるGGUF形式のモデルファイルは、llama.cpp と互換性があります。

📦 インストール

コマンドラインによるインストール

まず、Huggingfaceクライアントをインストールします。

pip install -U "huggingface_hub[cli]"

次に、単一のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/Llama3-Aloe-8B-Alpha-GGUF --include "Llama3-Aloe-8B-Alpha-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターン（例： *Q4_K*gguf）で複数のモデルファイルをダウンロードする場合は、以下のコマンドを試してください。

huggingface-cli download tensorblock/Llama3-Aloe-8B-Alpha-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 ドキュメント

プロンプトテンプレート

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

モデルファイルの仕様

📄 ライセンス

このプロジェクトはCC BY-NC 4.0ライセンスの下で提供されています。

🔍 関連データセット

• argilla/dpo-mix-7k
• nvidia/HelpSteer
• jondurbin/airoboros-3.2
• hkust-nlp/deita-10k-v0
• LDJnr/Capybara
• HPAI-BSC/CareQA
• GBaker/MedQA-USMLE-4-options
• lukaemon/mmlu
• bigbio/pubmed_qa
• openlifescienceai/medmcqa
• bigbio/med_qa
• HPAI-BSC/better-safe-than-sorry
• HPAI-BSC/pubmedqa-cot
• HPAI-BSC/medmcqa-cot
• HPAI-BSC/medqa-cot

🌟 当社の他のプロジェクト

プロジェクト名	説明	画像	リンク
Awesome MCP Servers	包括的なモデルコンテキストプロトコル（MCP）サーバーのコレクション。		GitHubリポジトリ
TensorBlock Studio	軽量で、オープンかつ拡張可能な複数の大規模言語モデルとの対話スタジオ。		GitHubリポジトリ