Flan T5 Base Q4 K M GGUF

🚀 marroyo777/flan-t5-base-Q4_K_M-GGUF

このモデルは、google/flan-t5-base からGGUF形式に変換されたものです。変換には、llama.cppを使用し、ggml.aiの GGUF-my-repo スペースを通じて行われました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

このセクションでは、モデルの概要と使用方法の基本的な手順を説明します。

✨ 主な機能

• 対応言語：英語（en）、フランス語（fr）、ルーマニア語（ro）、ドイツ語（de）、多言語（multilingual）
• タスク対応：テキスト生成、翻訳、質問応答、論理推論、科学知識の回答、真偽値表現の評価、数学的推論、前提と仮説の評価など

ウィジェットの使用例

• 翻訳：'My name is Arthur' をドイツ語に翻訳
• 質問応答：'Who is going to be the next Ballon d'or?' の回答
• 論理推論：'Can Geoffrey Hinton have a conversation with George Washington?' の回答と理由付け
• 科学知識：'What is the boiling point of Nitrogen?' の回答
• 真偽質問：'Can you write a whole Haiku in a single tweet?' の回答
• 推論タスク：'Can you write a whole Haiku in a single tweet?' の回答をステップバイステップで推論
• 真偽値表現：'( False or not False or False ) is?' の評価
• 数学的推論：'The square root of x is the cube root of y. What is y to the power of 2, if x = 4?' の回答
• 前提と仮説：前提と仮説の関係の評価

📦 インストール

llama.cppのインストール

llama.cppをbrewを通じてインストールします（MacとLinuxで動作します）。

brew install llama.cpp

llama.cppの使用

CLIでの使用

llama-cli --hf-repo marroyo777/flan-t5-base-Q4_K_M-GGUF --hf-file flan-t5-base-q4_k_m-imat.gguf -p "The meaning to life and the universe is"

サーバーでの使用

llama-server --hf-repo marroyo777/flan-t5-base-Q4_K_M-GGUF --hf-file flan-t5-base-q4_k_m-imat.gguf -c 2048

Llama.cppリポジトリの手動使用

1. Llama.cppをGitHubからクローンします。

git clone https://github.com/ggerganov/llama.cpp

2. llama.cppフォルダに移動し、LLAMA_CURL=1 フラグと他のハードウェア固有のフラグ（例：LinuxのNvidia GPUの場合は LLAMA_CUDA=1）を使用してビルドします。

cd llama.cpp && LLAMA_CURL=1 make

3. メインバイナリを通じて推論を実行します。

./llama-cli --hf-repo marroyo777/flan-t5-base-Q4_K_M-GGUF --hf-file flan-t5-base-q4_k_m-imat.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo marroyo777/flan-t5-base-Q4_K_M-GGUF --hf-file flan-t5-base-q4_k_m-imat.gguf -c 2048

📚 ドキュメント

データセット

このモデルは以下のデータセットを使用して訓練されています。

• svakulenk0/qrecc
• taskmaster2
• djaym7/wiki_dialog
• deepmind/code_contests
• lambada
• gsm8k
• aqua_rat
• esnli
• quasc
• qed

ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

ベースモデル

このモデルは、google/flan-t5-base をベースにしています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。詳細については、Apache 2.0ライセンス を参照してください。