Taiwan LLM 7B V2.0.1 Chat GGUF

🚀 Taiwan-LLM-7B-v2.0.1-chat - GGUF

このモデルは、Yen-Ting Lin氏によるTaiwan LLM（LLaMa2-7b v2.0.1-chatベース）のGGUF形式のモデルファイルを提供します。Taiwan LLMを利用する際には、必ず元の作者に明確に謝辞を記載し、功績を認める必要があります。

🚀 クイックスタート

モデルカードのメタデータに関する参照情報は、こちらの仕様をご覧ください：https://github.com/huggingface/hub-docs/blob/main/modelcard.md?plain=1 ドキュメント/ガイド：https://huggingface.co/docs/hub/model-cards

✨ 主な機能

• このリポジトリには、Yen-Ting Lin氏のTaiwan LLM based on LLaMa2-7b v2.0.1-chatのGGUF形式のモデルファイルが含まれています。
• GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式で、GGMLの代替となります。GGMLはllama.cppではもはやサポートされていません。
• GGUFの主な利点は、モデルに関するより多くの情報をメタデータとして保存する拡張可能で将来性のある形式であることです。また、トークン化コードが大幅に改善されており、特殊トークンの完全サポートも初めて実装されています。これにより、特に新しい特殊トークンを使用し、カスタムプロンプトテンプレートを実装するモデルでのパフォーマンスが向上します。

📦 インストール

このセクションでは、GGUF形式のモデルを使用するために必要なクライアントやライブラリの情報を提供します。

サポートされているクライアントとライブラリ

• llama.cpp
• text-generation-webui：最も広く使用されているWeb UIです。ctransformersバックエンドを介したGPUアクセラレーションでGGUFをサポートしています - llama-cpp-pythonバックエンドも間もなく動作する予定です。
• KoboldCpp：バージョン1.41からGGUFをサポートしています！強力なGGML Web UIで、完全なGPUアクセラレーションがあります。特にストーリーテリングに適しています。
• LM Studio：バージョン0.2.2以降でGGUFをサポートしています。Windows（NVidiaとAMD）とmacOSの両方でGPUアクセラレーションを備えた完全機能のローカルGUIです。
• LoLLMS Web UI：c_transformersバックエンドを選択すれば動作するはずです。多くの興味深い機能を備えた素晴らしいWeb UIです。CUDA GPUアクセラレーションをサポートしています。
• ctransformers：バージョン0.2.24からGGUFをサポートしています！GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python：バージョン0.1.79からGGUFをサポートしています。GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle：8月22日にGGUFサポートが追加されました。Candleは、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。

📚 ドキュメント

元のモデルカード

Taiwan LLM based on LLaMa2-7b

このモデルは、200億トークンの繁体字中国語での継続的な事前学習と、数百万の会話での命令微調整を行っています。このバージョンにはcommoncrawlは含まれていません。

🌟 新しいTaiwan-LLM Demo Chat-UIをチェックしてみてください！ 🌟

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。