Taiwan LLM 7B V2.0.1 Chat GGUF

🚀 台灣LLM 7B v2.0.1チャットモデルカード

台湾LLMは、台湾の言語と文化的な文脈に特化した、繁体字中国語向けの高度な言語モデルです。大規模なベースモデルをもとに開発され、様々な台湾のテキストソースを用いて強化され、教師付き微調整によって洗練されています。このモデルは、言語理解と生成に優れており、台湾の文化的なニュアンスに密接に対応しています。TC-Evalなどの様々なベンチマークで性能向上を示し、文脈理解と文化的な関連性を実証しています。台湾LLMの開発と機能の詳細については、技術レポートを参照してください。

🚀 クイックスタート

以下は、🤗 Transformersのpipeline()関数を使用してモデルを実行する方法です。

# pip install transformers>=4.34
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="yentinglin/Taiwan-LLM-7B-v2.0.1-chat", torch_dtype=torch.bfloat16, device_map="auto")

# We use the tokenizer's chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {
        "role": "system",
        "content": "你是一個人工智慧助理",
    },
    {"role": "user", "content": "東北季風如何影響台灣氣候？"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

✨ 主な機能

• 台湾の言語と文化的な文脈に特化した高度な言語理解と生成能力。
• TC-Evalなどのベンチマークでの良好な性能。

📦 インストール

pip install transformers>=4.34
pip install accelerate

📚 ドキュメント

モデルの説明

• モデルタイプ：公開されている合成データセットの混合で微調整された70億パラメータのGPTライクなモデル。
• 言語 (NLP)：主に繁体字中国語 (zh-tw)
• 微調整元のモデル：yentinglin/Taiwan-LLM-7B-v2.0-base

モデルのソース

• リポジトリ：https://github.com/MiuLab/Taiwan-LLaMa
• デモ：https://twllm.com/

性能

想定される用途

台湾の言語と文化に関連するテキスト生成タスクに適しています。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• 分散タイプ: マルチGPU
• オプティマイザ: Adam（ベータ=(0.9, 0.999)、イプシロン=1e-08）
• 学習率スケジューラタイプ: コサイン
• 学習率スケジューラウォームアップ比率: 0.03
• エポック数: 5.0

🔧 技術詳細

台湾LLMの開発と機能の詳細については、技術レポートを参照してください。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

もし台湾LLMがあなたの研究や開発に役立った場合は、以下のように引用してください。

@misc{lin2023taiwan,
      title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model}, 
      author={Yen-Ting Lin and Yun-Nung Chen},
      year={2023},
      eprint={2311.17487},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}