Mistral-7B-Portuguese开源大语言模型 - 免费部署提升葡萄牙语文本生成能力

首页

Mistral 7B Portuguese

由 cnmoro 开发

基于Mistral-7B-Instruct-v0.2微调的葡萄牙语大语言模型，专注于提升葡萄牙语文本生成能力

大型语言模型

Transformers

支持多种语言#葡萄牙语指令微调 #多任务文本生成 #巴西教育考试

下载量 124

发布时间 : 3/3/2024

模型简介

这是一个针对葡萄牙语优化的7B参数大语言模型，基于Mistral-7B-Instruct-v0.2使用unsloth在葡萄牙语指令数据集上微调而成，保留了原始提示格式，适用于多种葡萄牙语文本生成任务

模型特点

葡萄牙语优化

专门针对葡萄牙语文本生成任务进行微调，提升葡萄牙语理解和生成能力

保留原始提示格式

保持了Mistral原始模型的提示格式，便于迁移使用

多任务支持

在多种葡萄牙语NLP任务上表现良好，包括文本蕴含、语义相似度、情感分析等

模型能力

葡萄牙语文本生成

文本蕴含识别

语义相似度计算

情感分析

自然语言推理

问答系统

使用案例

教育评估

ENEM考试题目解答

用于解答巴西国家中等教育考试(ENEM)题目

准确率58.08%

OAB律师资格考试

用于解答巴西律师资格考试题目

准确率37.08%

自然语言处理

文本蕴含识别

识别葡萄牙语文本间的逻辑关系

宏F1值90.31

语义相似度计算

计算葡萄牙语句子间的语义相似度

皮尔逊系数76.55

社交媒体分析

仇恨言论检测

识别葡萄牙语社交媒体中的仇恨言论

宏F1值79.21(HateBR数据集)

情感分析

分析巴西推特上的情感倾向

宏F1值64.71

🚀 米斯特拉尔7B葡萄牙语模型

本项目是对米斯特拉尔7B模型的微调版本，旨在提升其在葡萄牙语上的性能表现。通过使用特定的葡萄牙语指令数据集和微调工具，让模型在葡萄牙语相关任务中表现更优。

🚀 快速开始

这是 mistralai/Mistral-7B-Instruct-v0.2 的微调版本，使用 unsloth 在葡萄牙语指令数据集上进行微调，以尝试提高模型在该语言上的性能。

尚未执行任何基准测试。

使用了原始的提示格式：

<s>[INST] {Prompt goes here} [/INST]

📚 详细文档

开放葡萄牙语大语言模型排行榜评估结果

详细结果可查看此处

指标	数值
平均值	64.7
巴西国家高中考试挑战（无图像）	58.08
BLUEX（无图像）	48.68
巴西律师协会考试	37.08
Assin2 文本蕴含识别	90.31
Assin2 语义文本相似度	76.55
FaQuAD 自然语言推理	58.84
巴西仇恨言论二分类	79.21
葡萄牙语仇恨言论二分类	68.87
巴西推文情感分析	64.71

模型信息

属性	详情
支持语言	英语、葡萄牙语
数据集	cnmoro/WizardVicuna-PTBR-Instruct-Clean
模型名称	Mistral-7B-Portuguese

各任务评估详情

任务类型：文本生成
评估数据集及结果：
1. ENEM Challenge (No Images)
  - 数据集类型：eduagarcia/enem_challenge
  - 数据划分：训练集
  - 少样本数量：3
  - 评估指标：准确率（acc），值为 58.08
  - 数据来源：Open Portuguese LLM Leaderboard
2. BLUEX (No Images)
  - 数据集类型：eduagarcia-temp/BLUEX_without_images
  - 数据划分：训练集
  - 少样本数量：3
  - 评估指标：准确率（acc），值为 48.68
  - 数据来源：Open Portuguese LLM Leaderboard
3. OAB Exams
  - 数据集类型：eduagarcia/oab_exams
  - 数据划分：训练集
  - 少样本数量：3
  - 评估指标：准确率（acc），值为 37.08
  - 数据来源：Open Portuguese LLM Leaderboard
4. Assin2 RTE
  - 数据集类型：assin2
  - 数据划分：测试集
  - 少样本数量：15
  - 评估指标：F1 宏平均（f1_macro），值为 90.31
  - 数据来源：Open Portuguese LLM Leaderboard
5. Assin2 STS
  - 数据集类型：eduagarcia/portuguese_benchmark
  - 数据划分：测试集
  - 少样本数量：15
  - 评估指标：皮尔逊相关系数（pearson），值为 76.55
  - 数据来源：Open Portuguese LLM Leaderboard
6. FaQuAD NLI
  - 数据集类型：ruanchaves/faquad-nli
  - 数据划分：测试集
  - 少样本数量：15
  - 评估指标：F1 宏平均（f1_macro），值为 58.84
  - 数据来源：Open Portuguese LLM Leaderboard
7. HateBR Binary
  - 数据集类型：ruanchaves/hatebr
  - 数据划分：测试集
  - 少样本数量：25
  - 评估指标：F1 宏平均（f1_macro），值为 79.21
  - 数据来源：Open Portuguese LLM Leaderboard
8. PT Hate Speech Binary
  - 数据集类型：hate_speech_portuguese
  - 数据划分：测试集
  - 少样本数量：25
  - 评估指标：F1 宏平均（f1_macro），值为 68.87
  - 数据来源：Open Portuguese LLM Leaderboard
9. tweetSentBR
  - 数据集类型：eduagarcia-temp/tweetsentbr
  - 数据划分：测试集
  - 少样本数量：25
  - 评估指标：F1 宏平均（f1_macro），值为 64.71
  - 数据来源：Open Portuguese LLM Leaderboard