🚀 Taiwan-LLM-13B-v2.0-chat-GGUF - GGUF

このモデルは、Yen-Ting Lin氏によるTaiwan LLM based on LLaMa2-13bをGGUF形式で提供しています。Taiwan LLMを利用する際には、元の作者に明確に承認と謝辞を述べる必要があります。

🚀 クイックスタート

モデルカードのメタデータについての参考情報は、以下の仕様を参照してください: https://github.com/huggingface/hub-docs/blob/main/modelcard.md?plain=1 ドキュメント/ガイド: https://huggingface.co/docs/hub/model-cards

✨ 主な機能

• モデル作成者: Yen-Ting Lin
• 元のモデル: Taiwan-LLM-13B-v2.0-chat

📚 ドキュメント

説明

このリポジトリには、Yen-Ting Lin氏のTaiwan LLM based on LLaMa2-13bのGGUF形式のモデルファイルが含まれています。Taiwan LLMリポジトリを使用する場合は、必ず元の作者に明確に承認と謝辞を述べる必要があります。Taiwan LLMを使用するには、優必達株式会社 Ubitus および元の作者に明確に承認と謝辞を述べる必要があります。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これは、llama.cppでサポートされなくなったGGMLの代替品です。

GGUFの主な利点は、拡張可能で将来的な互換性がある形式であり、モデルに関するより多くの情報をメタデータとして保存することができることです。また、大幅に改善されたトークン化コードが含まれており、初めて特殊トークンの完全サポートが実装されています。これにより、特に新しい特殊トークンを使用し、カスタムプロンプトテンプレートを実装するモデルでのパフォーマンスが向上するはずです。

8月25日現在、GGUFをサポートすることが知られているクライアントとライブラリのリストは次のとおりです:

• llama.cpp
• text-generation-webui、最も広く使用されているウェブUI。ctransformersバックエンドを介したGPUアクセラレーションでGGUFをサポートしています - llama-cpp-pythonバックエンドも間もなく動作するはずです。
• KoboldCpp、バージョン1.41からGGUFをサポートしています！強力なGGMLウェブUIで、完全なGPUアクセラレーションがあります。特にストーリーテリングに適しています。
• LM Studio、バージョン0.2.2以降がGGUFをサポートしています。Windows（NVidiaおよびAMD）とmacOSの両方でGPUアクセラレーションを備えた完全機能のローカルGUIです。
• LoLLMS Web UI、現在動作するはずです。c_transformersバックエンドを選択してください。多くの興味深い機能を備えた素晴らしいウェブUIです。CUDA GPUアクセラレーションをサポートしています。
• ctransformers、バージョン0.2.24からGGUFをサポートしています！GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python、バージョン0.1.79からGGUFをサポートしています。GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、8月22日にGGUFサポートが追加されました。Candleは、パフォーマンス（GPUサポートを含む）と使いやすさに重点を置いたRustのMLフレームワークです。

元のモデルカード

🌟 新しいTaiwan-LLM Demo Chat-UIをチェックしてください 🌟

Taiwan LLM based on LLaMa2-13b

繁体字中国語で200億トークンの継続的な事前学習と、数百万の会話に基づく命令微調整を行っています。

このバージョンにはCommonCrawlは含まれていません。

Ubitus K.K. との協力 💪💪💪

本プロジェクトは、Ubitus K.K.と協力して行われています。Ubitusは、本プロジェクトに貴重な技術サポートと計算リソースを提供しています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。