Taiwan LLaMa V1.0 GGUF

🚀 台湾-LLaMa-v1.0 - GGUF

このプロジェクトは、台湾文化に特化した言語モデルであるTaiwan-LLaMa-v1.0のGGUF形式のモデルファイルを提供します。GGUFは新しいモデルフォーマットで、性能や拡張性に優れています。

🚀 クイックスタート

このリポジトリには、Yen-Ting Lin氏のLanguage Models for Taiwanese Culture v1.0 のGGUF形式のモデルファイルが含まれています。

✨ 主な機能

GGUF形式の利点

GGUFは2023年8月21日にllama.cppチームによって導入された新しいフォーマットです。これはGGMLの代替であり、現在はllama.cppではGGMLがサポートされなくなりました。

GGUFの主な利点は、拡張性があり将来性のあるフォーマットであり、モデルに関するより多くの情報をメタデータとして保存することができることです。また、大幅に改善されたトークン化コードが含まれており、初めて特殊トークンの完全サポートが実現されています。これにより、特に新しい特殊トークンを使用し、カスタムプロンプトテンプレートを実装したモデルでのパフォーマンスが向上するはずです。

8月25日現在、GGUFをサポートすることが知られているクライアントとライブラリのリストは次の通りです。

• llama.cpp
• text-generation-webui。最も広く使用されているWeb UIです。ctransformersバックエンドを介してGPUアクセラレーションでGGUFをサポートしています - llama-cpp-pythonバックエンドもまもなく動作するはずです。
• KoboldCpp。バージョン1.41からGGUFをサポートしています！強力なGGML Web UIで、完全なGPUアクセラレーションがあります。特にストーリーテリングに適しています。
• LM Studio。バージョン0.2.2以降がGGUFをサポートしています。GPUアクセラレーション付きの完全機能のローカルGUIで、Windows（NVidiaおよびAMD）とmacOSの両方で動作します。
• LoLLMS Web UI。c_transformersバックエンドを選択すると動作するはずです。多くの興味深い機能を備えた素晴らしいWeb UIです。CUDA GPUアクセラレーションをサポートしています。
• ctransformers。バージョン0.2.24からGGUFをサポートしています！GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python。バージョン0.1.79からGGUFをサポートしています。GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle。8月22日にGGUFサポートが追加されました。Candleは、パフォーマンス（GPUサポートを含む）と使いやすさに重点を置いたRustのMLフレームワークです。

台湾-LLaMaの特徴

1. 繁体字中国語のサポート：モデルは繁体字中国語のテキストを理解し、生成するように微調整されており、台湾文化や関連するアプリケーションに適しています。
2. 命令に基づく微調整：会話データでさらに微調整されており、文脈を考慮した命令に従った応答を提供します。
3. Vicunaベンチマークでの性能：台湾-LLaMaのVicunaベンチマークでの相対的な性能は、GPT-4やChatGPTなどのモデルと比較されています。特に台湾文化に最適化されています。
4. 柔軟なカスタマイズ：デモでは、システムプロンプト、温度、top-p、top-kなどのモデルの動作を制御するための高度なオプションが利用可能です。

📦 インストール

モデルのデプロイ

モデルを独自のマシンにデプロイするには、🤗 Text Generation Inference を使用することをおすすめします。使用方法と制限事項の詳細については、ライセンス を参照してください。

bash run_text_generation_inference.sh "yentinglin/Taiwan-LLaMa-v1.0" NUM_GPUS DIR_TO_SAVE_MODEL PORT MAX_INPUT_LEN MODEL_MAX_LEN

開発環境のセットアップ

conda create -n taiwan-llama python=3.10 -y 
conda activate taiwan-llama
pip install -r requirements.txt

💻 使用例

基本的な使用法

プロンプトフォーマットはvicuna-v1.1のテンプレートに従います。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {user} ASSISTANT:

📚 ドキュメント

モデル情報

モデルチェックポイント

データセット

アーキテクチャ

台湾-LLaMaはLLaMa 2をベースにしており、トランスフォーマーアーキテクチャ、flash attention 2、およびbfloat16を利用しています。

• 事前学習フェーズ：繁体字中国語のコモンクロールから抽出された50億以上のトークンの膨大なコーパスで事前学習されています。
• 微調整フェーズ：49万以上のマルチターン会話データでさらに命令微調整されており、より命令に従い、文脈を考慮した応答を可能にしています。

Vicunaベンチマークでの汎用能力

汎用能力を評価するために、データは繁体字中国語に翻訳されています。

スコアはChatGPTをベースライン（100%）として計算されています。他の値は、ChatGPTと比較した異なるモデルの相対的な性能を示しています。

台湾文化に関する例

🔧 技術詳細

開発中の機能

• [ ] 改善された事前学習：より良い台湾文化に対応するために、洗練された事前学習プロセス（例：台湾からのより多くのデータ、トレーニング戦略）が開発中です。
• [ ] 最大長の拡張：論文で説明されているRopeメカニズムを利用して、モデルの長さを4kから8kに拡張します。

📄 ライセンス

このプロジェクトのコードはApache 2.0ライセンスの下でライセンスされています。詳細については、LICENSEファイルを参照してください。

このプロジェクトに含まれるモデルは、LLAMA 2コミュニティライセンスの下でライセンスされています。完全な詳細については、LLAMA2 License を参照してください。

引用

もしあなたが私たちのコード、データ、またはモデルをあなたの研究で使用する場合は、このリポジトリを引用してください。以下のBibTeXエントリを使用することができます。

@inproceedings{lin-chen-2023-llm,
    title = "{LLM}-Eval: Unified Multi-Dimensional Automatic Evaluation for Open-Domain Conversations with Large Language Models",
    author = "Lin, Yen-Ting  and Chen, Yun-Nung",
    booktitle = "Proceedings of the 5th Workshop on NLP for Conversational AI (NLP4ConvAI 2023)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.nlp4convai-1.5",
    pages = "47--58"
}

@misc{taiwanllama,
    author={Lin, Yen-Ting and Chen, Yun-Nung},
    title={Language Models for Taiwanese Culture},
    year={2023},
    url={https://github.com/MiuLab/Taiwan-LLaMa},
    note={Code and models available at https://github.com/MiuLab/Taiwan-LLaMa},
}

協力依頼

繁体字中国語の言語モデルの開発に貢献したい、新しいアプリケーションを探索したい、または台湾-LLaMaをあなたの特定のニーズに利用したい場合は、遠慮なくお問い合わせください。学界、産業界、および個人の貢献者からの協力を歓迎します。

OpenAIデータの承認

このプロジェクトに含まれるデータはOpenAIのモデルを使用して生成されており、OpenAIの利用規約の対象となります。使用方法と制限事項の詳細については、OpenAIの利用規約 を確認してください。

謝辞

私たちは、大規模言語モデルの民主化におけるオープンソースの取り組みに対して、Meta LLaMAチーム と Vicunaチーム に感謝します。