KULLM3 Awq

🚀 KULLM3のAWQ量子化バージョン

このリポジトリはKULLM3のAWQ量子化バージョンです。KULLM3は、高度な指示追従能力と流暢なチャット機能を備えたモデルで、指示追従において卓越した性能を発揮し、特にgpt - 3.5 - turboに近い性能を示します。公開されている韓国語言語モデルの中でも、最も優れたモデルの一つです。

量子化は[autoawq](https://github.com/casper - hansen/AutoAWQ/)のカスタムブランチで行われました。量子化のハイパーパラメータは以下の通りです。

{ "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

このモデルは[vllm](https://github.com/vllm - project/vllm)を使用して動作します。他のフレームワークでは動作しない可能性があります。なぜなら、他のフレームワークでのテストは行われていないからです。

以下は、元のモデルのREADME.mdです。

🚀 クイックスタート

KULLM3のAWQ量子化バージョンを使用するには、まず依存関係をインストールし、Pythonコードを実行します。

✨ 主な機能

• 高度な指示追従能力
• 流暢なチャット機能
• 韓国語と英語の対応

📦 インストール

依存関係のインストール

pip install torch transformers==4.38.2 accelerate

⚠️ 重要提示

transformers>=4.39.0では、generate()が正常に動作しません。(2024.4.4現在)

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

MODEL_DIR = "nlpai-lab/KULLM3"
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

s = "고려대학교에 대해서 알고 있니?"
conversation = [{'role': 'user', 'content': s}]
inputs = tokenizer.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors='pt').to("cuda")
_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024)

# 네, 고려대학교에 대해 알고 있습니다. 고려대학교는 대한민국 서울에 위치한 사립 대학교로, 1905년에 설립되었습니다. 이 대학교는 한국에서 가장 오래된 대학 중 하나로, 다양한 학부 및 대학원 프로그램을 제공합니다. 고려대학교는 특히 법학, 경제학, 정치학, 사회학, 문학, 과학 분야에서 높은 명성을 가지고 있습니다. 또한, 스포츠 분야에서도 활발한 활동을 보이며, 대한민국 대학 스포츠에서 중요한 역할을 하고 있습니다. 고려대학교는 국제적인 교류와 협력에도 적극적이며, 전 세계 다양한 대학과의 협력을 통해 글로벌 경쟁력을 강화하고 있습니다.

📚 ドキュメント

モデルの説明

• 開発者: NLP&AI Lab
• 言語: 韓国語、英語
• ライセンス: CC - BY - NC 4.0
• ファインチューニング元のモデル: [upstage/SOLAR - 10.7B - Instruct - v1.0](https://huggingface.co/upstage/SOLAR - 10.7B - Instruct - v1.0)

学習詳細

学習データ

• [vicgalle/alpaca - gpt4](https://huggingface.co/datasets/vicgalle/alpaca - gpt4)
• 混合韓国語指示データ（GPT生成、手作りなど）
• 合計約66000以上のサンプルが使用されました。

学習手順

• 以下の固定システムプロンプトで学習されました。

당신은 고려대학교 NLP&AI 연구실에서 만든 AI 챗봇입니다.
당신의 이름은 'KULLM'으로, 한국어로는 '구름'을 뜻합니다.
당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다.
사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.
질문이 이상하다면, 어떤 부분이 이상한지 설명합니다. 거짓 정보를 발언하지 않도록 주의합니다.

評価

• テストデータ、評価指標などの評価詳細は[github](https://github.com/nlpai - lab/KULLM)に記載されています。
• 学習フェーズで使用されたシステムプロンプトを使用しない場合、KULLMの性能は期待よりも低くなります。

結果

📄 ライセンス

このモデルはCC - BY - NC 4.0ライセンスの下で提供されています。

引用

@misc{kullm,
  author = {NLP & AI Lab and Human-Inspired AI research},
  title = {KULLM: Korea University Large Language Model Project},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/nlpai-lab/kullm}},
}