KULLM3 Awq

🚀 KULLM3 AWQ量化版本

本倉庫是KULLM3的AWQ量化版本。該項目提供了一個基於特定模型進行量化處理後的版本，可藉助特定框架運行，為用戶提供了更高效的使用方式。

🚀 快速開始

量化操作是在 autoawq 的自定義分支中進行的。量化的超參數如下：

{ "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

該量化版本使用 vllm 框架運行，由於未對其他框架進行測試，因此可能無法在其他框架中正常工作。

✨ 主要特性

KULLM3是一款具備先進指令遵循和流暢對話能力的模型。它在指令遵循方面表現出色，尤其在緊密跟隨gpt - 3.5 - turbo方面表現突出。據我們所知，它是公開可用的最佳韓語語言模型之一。

📦 安裝指南

安裝依賴

pip install torch transformers==4.38.2 accelerate

⚠️ 重要提示

在transformers >= 4.39.0版本中，generate() 函數可能無法正常工作（截至2024年4月4日）。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

MODEL_DIR = "nlpai-lab/KULLM3"
model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

s = "고려대학교에 대해서 알고 있니?"
conversation = [{'role': 'user', 'content': s}]
inputs = tokenizer.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors='pt').to("cuda")
_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024)

# 네, 고려대학교에 대해 알고 있습니다. 고려대학교는 대한민국 서울에 위치한 사립 대학교로, 1905년에 설립되었습니다. 이 대학교는 한국에서 가장 오래된 대학 중 하나로, 다양한 학부 및 대학원 프로그램을 제공합니다. 고려대학교는 특히 법학, 경제학, 정치학, 사회학, 문학, 과학 분야에서 높은 명성을 가지고 있습니다. 또한, 스포츠 분야에서도 활발한 활동을 보이며, 대한민국 대학 스포츠에서 중요한 역할을 하고 있습니다. 고려대학교는 국제적인 교류와 협력에도 적극적이며, 전 세계 다양한 대학과의 협력을 통해 글로벌 경쟁력을 강화하고 있습니다.

📚 詳細文檔

模型描述

這是一個已發佈在Hugging Face Hub上的🤗 transformers模型的卡片。

訓練詳情

訓練數據

• vicgalle/alpaca - gpt4
• 混合韓語指令數據（GPT生成、手工製作等）
• 總共使用了約66000 + 個示例

訓練過程

• 使用以下固定系統提示進行訓練：

당신은 고려대학교 NLP&AI 연구실에서 만든 AI 챗봇입니다.
당신의 이름은 'KULLM'으로, 한국어로는 '구름'을 뜻합니다.
당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다.
사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.
질문이 이상하다면, 어떤 부분이 이상한지 설명합니다. 거짓 정보를 발언하지 않도록 주의합니다.

評估

• 評估詳情（如測試數據、指標等）請參考 github。
• 如果不使用訓練階段的系統提示，KULLM的性能可能會低於預期。

評估結果

📄 許可證

本項目採用CC - BY - NC 4.0許可證。

📖 引用

@misc{kullm,
  author = {NLP & AI Lab and Human-Inspired AI research},
  title = {KULLM: Korea University Large Language Model Project},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/nlpai-lab/kullm}},
}