Qwen2.5 0.5B Portuguese V1
模型简介
该模型是针对葡萄牙语优化的文本生成模型,基于Qwen2.5架构微调,适用于多种葡萄牙语自然语言处理任务
模型特点
葡萄牙语优化
针对葡萄牙语进行了专门微调,提升了葡萄牙语理解和生成能力
多任务支持
支持多种文本生成任务,包括问答、推理和情感分析等
高效推理
0.5B参数规模在保持性能的同时提供较高的推理效率
模型能力
葡萄牙语文本生成
问答系统
文本分类
语义相似度计算
情感分析
考试题目解答
使用案例
教育
ENEM考试题目解答
解答巴西国家中等教育考试(ENEM)题目
准确率37.86%
OAB律师资格考试
解答巴西律师资格考试题目
准确率33.12%
法律
法律文本分析
处理和分析法律相关文本
社交媒体分析
仇恨言论检测
识别葡萄牙语社交媒体中的仇恨言论
宏观F1 55.1
情感分析
分析葡萄牙语推文的情感倾向
宏观F1 45.96
🚀 Qwen2.5-0.5B葡萄牙语v1
Qwen2.5-0.5B经过微调,能够熟练使用葡萄牙语,并提升了智能水平。该模型可用于文本生成任务,如自动翻译、情感分析、话题建模和自动问答等。
🚀 快速开始
你可以通过以下链接访问该模型:
https://ollama.com/cnmoro/Qwen2.5-0.5B-Portuguese-v1
以下是使用该模型进行文本生成的Python代码示例:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "cnmoro/Qwen2.5-0.5B-Portuguese-v1"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "Escreva uma breve introdução sobre LLMs (Large Language Models) e suas aplicações."
# 系统提示会自动注入并硬编码,以在葡萄牙语中实现理想性能。无需再次编写。
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
response
# LLM significa Large Language Models, que são modelos de linguagem computacional
# projetados para simular a inteligência humana no processamento e geração de texto.
# Esses modelos usam técnicas avançadas de aprendizado de máquina e redes neurais para
# compreender e gerar texto com base em dados de entrada. As aplicações de LLM incluem
# tradução automática, análise de sentimento, modelagem de tópicos e resposta a perguntas
# automatizadas. Eles estão sendo cada vez mais utilizados em diversas áreas, como
# saúde, educação e finanças, para melhorar a comunicação, as experiências dos clientes
# e os resultados da pesquisa.
📚 详细文档
整体结果
任务 | 指标 | 值 | 标准差 |
---|---|---|---|
assin2_rte | f1_macro | 0.391 | 0.006 |
assin2_rte | acc | 0.527 | 0.007 |
assin2_sts | pearson | 0.115 | 0.014 |
assin2_sts | mse | 1.011 | N/A |
bluex | acc | 0.349 | 0.010 |
enem_challenge | acc | 0.363 | 0.007 |
faquad_nli | f1_macro | 0.595 | 0.017 |
faquad_nli | acc | 0.791 | 0.011 |
hatebr_offensive | f1_macro | 0.338 | 0.005 |
hatebr_offensive | acc | 0.502 | 0.009 |
oab_exams | acc | 0.326 | 0.006 |
portuguese_hate_speech | f1_macro | 0.412 | 0.004 |
portuguese_hate_speech | acc | 0.702 | 0.011 |
tweetsentbr | f1_macro | 0.455 | 0.005 |
tweetsentbr | acc | 0.594 | 0.008 |
详细结果
assin2_rte
指标 | 值 | 标准差 |
---|---|---|
f1_macro | 0.391 | 0.006 |
acc | 0.527 | 0.007 |
assin2_sts
指标 | 值 | 标准差 |
---|---|---|
pearson | 0.115 | 0.014 |
mse | 1.011 | N/A |
bluex
考试ID | 指标 | 值 | 标准差 |
---|---|---|---|
all | acc | 0.349 | 0.010 |
USP_2019 | acc | 0.225 | 0.038 |
USP_2024 | acc | 0.293 | 0.041 |
USP_2021 | acc | 0.423 | 0.040 |
UNICAMP_2018 | acc | 0.241 | 0.034 |
UNICAMP_2024 | acc | 0.444 | 0.043 |
USP_2020 | acc | 0.393 | 0.038 |
UNICAMP_2020 | acc | 0.291 | 0.035 |
UNICAMP_2021_1 | acc | 0.326 | 0.040 |
UNICAMP_2022 | acc | 0.487 | 0.046 |
USP_2022 | acc | 0.388 | 0.040 |
UNICAMP_2019 | acc | 0.280 | 0.037 |
UNICAMP_2021_2 | acc | 0.294 | 0.037 |
UNICAMP_2023 | acc | 0.558 | 0.044 |
USP_2023 | acc | 0.364 | 0.042 |
USP_2018 | acc | 0.278 | 0.035 |
enem_challenge
考试ID | 指标 | 值 | 标准差 |
---|---|---|---|
all | acc | 0.363 | 0.007 |
2016_2 | acc | 0.390 | 0.025 |
2015 | acc | 0.319 | 0.025 |
2011 | acc | 0.410 | 0.026 |
2013 | acc | 0.398 | 0.027 |
2017 | acc | 0.319 | 0.025 |
2022 | acc | 0.376 | 0.024 |
2009 | acc | 0.226 | 0.023 |
2010 | acc | 0.444 | 0.026 |
2012 | acc | 0.345 | 0.025 |
2014 | acc | 0.339 | 0.026 |
2016 | acc | 0.397 | 0.026 |
2023 | acc | 0.385 | 0.024 |
faquad_nli
指标 | 值 | 标准差 |
---|---|---|
f1_macro | 0.595 | 0.017 |
acc | 0.791 | 0.011 |
hatebr_offensive
指标 | 值 | 标准差 |
---|---|---|
f1_macro | 0.338 | 0.005 |
acc | 0.502 | 0.009 |
oab_exams
考试ID | 指标 | 值 | 标准差 |
---|---|---|---|
all | acc | 0.326 | 0.006 |
2018-25 | acc | 0.400 | 0.032 |
2016-20a | acc | 0.238 | 0.027 |
2011-05 | acc | 0.400 | 0.032 |
2012-08 | acc | 0.325 | 0.030 |
2012-09 | acc | 0.260 | 0.029 |
2014-13 | acc | 0.325 | 0.030 |
2011-03 | acc | 0.313 | 0.027 |
2016-20 | acc | 0.275 | 0.029 |
2012-06a | acc | 0.325 | 0.030 |
2017-22 | acc | 0.338 | 0.031 |
2015-16 | acc | 0.325 | 0.030 |
2013-12 | acc | 0.300 | 0.030 |
2017-24 | acc | 0.250 | 0.028 |
2012-06 | acc | 0.238 | 0.027 |
2014-14 | acc | 0.325 | 0.030 |
2013-11 | acc | 0.325 | 0.030 |
2013-10 | acc | 0.413 | 0.032 |
2010-02 | acc | 0.390 | 0.028 |
2016-21 | acc | 0.375 | 0.031 |
2015-18 | acc | 0.300 | 0.030 |
2015-17 | acc | 0.282 | 0.029 |
2016-19 | acc | 0.333 | 0.031 |
2012-07 | acc | 0.388 | 0.031 |
2017-23 | acc | 0.325 | 0.030 |
2011-04 | acc | 0.350 | 0.031 |
2010-01 | acc | 0.282 | 0.028 |
2014-15 | acc | 0.385 | 0.032 |
portuguese_hate_speech
指标 | 值 | 标准差 |
---|---|---|
f1_macro | 0.412 | 0.004 |
acc | 0.702 | 0.011 |
tweetsentbr
指标 | 值 | 标准差 |
---|---|---|
f1_macro | 0.455 | 0.005 |
acc | 0.594 | 0.008 |
模型元信息
属性 | 详情 |
---|---|
截断样本数 | 3863 |
非截断样本数 | 10287 |
填充样本数 | 0 |
非填充样本数 | 14150 |
少样本截断数 | 3863 |
是否有聊天模板 | 是 |
聊天类型 | system_user_assistant |
GPU数量 | 1 |
Accelerate进程数 | N/A |
模型SHA值 | 无 |
模型数据类型 | torch.bfloat16 |
模型内存占用 | 988065664字节 |
模型参数数量 | 494032768 |
模型是否以4位加载 | N/A |
模型是否以8位加载 | N/A |
模型是否量化 | N/A |
模型设备 | cuda:0 |
批次大小 | 1 |
最大长度 | 512 |
最大上下文长度 | 480 |
最大生成令牌数 | 32 |
有效批次大小 | 1.0 |
开放葡萄牙语大语言模型排行榜评估结果
详细结果可在此处和🚀 开放葡萄牙语大语言模型排行榜查看。
指标 | 值 |
---|---|
平均值 | 50.74 |
巴西国家高中考试挑战(无图像) | 37.86 |
BLUEX(无图像) | 34.63 |
巴西律师协会考试 | 33.12 |
Assin2 RTE | 86.30 |
Assin2 STS | 54.30 |
FaQuAD NLI | 65.33 |
HateBR 二分类 | 44.06 |
葡萄牙语仇恨言论二分类 | 55.10 |
tweetSentBR | 45.96 |
📄 许可证
本项目采用MIT许可证。
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98