Acegpt 13B Chat AWQ
AceGPT 13B聊天版的AWQ量化版本,支持英语和阿拉伯语,专为普通GPU用户设计,提供高效的4位量化推理能力。
下载量 37
发布时间 : 11/16/2023
模型简介
AceGPT 13B聊天版是一个基于Llama2架构的大语言模型,经过AWQ量化处理,支持英语和阿拉伯语,适用于文本生成和对话任务。
模型特点
高效量化
采用AWQ量化方法,支持4位量化,在保持高质量的同时提供更快的推理速度。
多语言支持
支持英语和阿拉伯语,特别针对阿拉伯语进行了优化。
低资源需求
量化后的模型适合普通GPU用户使用,降低了硬件需求。
模型能力
文本生成
多语言对话
阿拉伯语文本处理
使用案例
语言处理
阿拉伯语诗歌生成
生成阿拉伯语诗歌或回答关于阿拉伯语文化的问题。
能够生成符合阿拉伯文化背景的诗歌和回答。
多语言客服
用于支持英语和阿拉伯语的客服对话系统。
提供流畅的多语言对话体验。
🚀 AceGPT 13B Chat - AWQ
本项目提供了 FreedomIntelligence 的 AceGPT 13B Chat 模型的 AWQ 量化版本,旨在让使用普通 GPU 的用户也能使用阿拉伯语大语言模型。

✨ 主要特性
- 模型创建者:FreedomIntelligence
- 原始模型:AceGPT 13B Chat
- 支持语言:英语、阿拉伯语
- 模型类型:llama2
- 量化方式:AWQ(一种高效、准确且快速的低比特权重量化方法,目前支持 4 比特量化)
关于 AWQ
AWQ 是一种高效、准确且极快的低比特权重量化方法,目前支持 4 比特量化。与 GPTQ 相比,它在基于 Transformer 的推理中速度更快,并且在质量上与最常用的 GPTQ 设置相当或更好。
它得到以下工具的支持:
- Text Generation Webui - 使用加载器:AutoAWQ
- vLLM - 仅支持 Llama 和 Mistral 模型
- Hugging Face Text Generation Inference (TGI)
- Transformers 版本 4.35.0 及更高版本,适用于任何支持 Transformers 的代码或客户端
- AutoAWQ - 用于 Python 代码
📦 安装指南
安装必要的包
- 需要 Transformers 4.35.0 或更高版本。
- 需要 AutoAWQ 0.1.6 或更高版本。
pip3 install --upgrade "autoawq>=0.1.6" "transformers>=4.35.0"
注意:如果您使用的是 PyTorch 2.0.1,上述 AutoAWQ 命令将自动将您升级到 PyTorch 2.1.0。
如果您使用的是 CUDA 11.8 并希望继续使用 PyTorch 2.0.1,请运行以下命令:
pip3 install https://github.com/casper-hansen/AutoAWQ/releases/download/v0.1.6/autoawq-0.1.6+cu118-cp310-cp310-linux_x86_64.whl
如果您在使用预构建的轮子安装 AutoAWQ 时遇到问题,请从源代码安装:
pip3 uninstall -y autoawq
git clone https://github.com/casper-hansen/AutoAWQ
cd AutoAWQ
pip3 install .
💻 使用示例
基础用法
以下是使用 Transformers 从 Python 代码进行推理的示例:
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model_name_or_path = "MohamedRashad/AceGPT-13B-chat-AWQ"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, padding_side="right")
model = AutoModelForCausalLM.from_pretrained(
model_name_or_path,
use_flash_attention_2=True, # 如果您在使用 flash attention 2 时遇到问题,请禁用
torch_dtype=torch.float16,
low_cpu_mem_usage=True,
device_map="auto"
)
# 使用文本流逐令牌流式输出
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
prompt = "ما أجمل بيت شعر فى اللغة العربية ؟"
prompt_template=f'''[INST] <<SYS>>\nأنت مساعد مفيد ومحترم وصادق. أجب دائما بأكبر قدر ممكن من المساعدة بينما تكون آمنا. يجب ألا تتضمن إجاباتك أي محتوى ضار أو غير أخلاقي أو عنصري أو جنسي أو سام أو خطير أو غير قانوني. يرجى التأكد من أن ردودك غير متحيزة اجتماعيا وإيجابية بطبيعتها.\n\nإذا كان السؤال لا معنى له أو لم يكن متماسكا من الناحية الواقعية، اشرح السبب بدلا من الإجابة على شيء غير صحيح. إذا كنت لا تعرف إجابة سؤال ما، فيرجى عدم مشاركة معلومات خاطئة.\n<</SYS>>\n\n
[INST] {prompt} [/INST]
'''
# 将提示转换为令牌
tokens = tokenizer(
prompt_template,
return_tensors='pt'
).input_ids.cuda()
generation_params = {
"do_sample": True,
"temperature": 0.7,
"top_p": 0.95,
"top_k": 40,
"max_new_tokens": 512,
"repetition_penalty": 1.1
}
# 生成流式输出,逐令牌可见
generation_output = model.generate(
tokens,
streamer=streamer,
**generation_params
)
# 不使用流生成,输出将包含提示
generation_output = model.generate(
tokens,
**generation_params
)
# 从输出中获取令牌,解码并打印
token_output = generation_output[0]
text_output = tokenizer.decode(token_output)
print("model.generate output: ", text_output)
# 也可以通过 Transformers 的管道进行推理
from transformers import pipeline
pipe = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
**generation_params
)
pipe_output = pipe(prompt_template)[0]['generated_text']
print("pipeline output: ", pipe_output)
📚 详细文档
提示模板
[INST] <<SYS>>\n您是一个有用、尊重他人且诚实的助手。请始终尽可能提供最大的帮助,同时确保安全。您的回答不得包含任何有害、不道德、歧视性、色情、恶意、危险或非法的内容。请确保您的回复在社会上不具有偏见,并且本质上是积极的。\n\n如果问题没有意义或在现实中不合理,请解释原因,而不是回答错误的内容。如果您不知道某个问题的答案,请不要分享错误信息。\n<</SYS>>\n\n
[INST] {prompt} [/INST]
AWQ 量化过程
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "FreedomIntelligence/AceGPT-13B-chat"
quant_path = "AceGPT-13B-chat-AWQ"
quant_config = {"zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM"}
load_config = {
"low_cpu_mem_usage": True,
"device_map": "auto",
"trust_remote_code": True,
}
# 加载模型
model = AutoAWQForCausalLM.from_pretrained(model_path, **load_config)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
# 量化
model.quantize(tokenizer, quant_config=quant_config)
# 保存量化后的模型
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)
# 加载量化后的模型
model = AutoModelForCausalLM.from_pretrained(quant_path)
tokenizer = AutoTokenizer.from_pretrained(quant_path)
# 推送到 Hub
model.push_to_hub(quant_path)
tokenizer.push_to_hub(quant_path)
📄 许可证
本模型遵循 llama2 许可证。
📋 模型信息
属性 | 详情 |
---|---|
模型类型 | llama2 |
训练数据 | FreedomIntelligence/Arabic-Vicuna-80、FreedomIntelligence/Arabic-AlpacaEval、FreedomIntelligence/MMLU_Arabic、FreedomIntelligence/EXAMs、FreedomIntelligence/ACVA-Arabic-Cultural-Value-Alignment |
基础模型 | FreedomIntelligence/AceGPT-13B-chat |
量化者 | MohamedRashad |
支持库 | Transformers |
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98