Nano Mistral

🚀 模型ID的模型卡片

这是一个🤗 Transformers模型的模型卡片，该模型已被推送到Hugging Face Hub上。此模型卡片是自动生成的。它可用于极低资源消耗下的通用网络文本补全任务。

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("crumb/nano-mistral")
tokenizer = AutoTokenizer.from_pretrained("crumb/nano-mistral")

inputs = tokenizer(["Once upon a time,"], return_tensors="pt")
inputs = {k:v.to(model.device) for k,v in dict(inputs).items()}
outputs = model.generate(inputs, max_new_tokens=128, temperature=0.7, top_k=20, do_sample=True)
outputs = tokenizer.batch_decode(outputs)
for i in outputs:
  print(i)

✨ 主要特性

• 能够在极低资源消耗下进行通用网络文本补全。
• 非指令模型，不适合用于指令类任务。

📦 安装指南

文档未提及安装步骤，可参考🤗 Transformers库的官方安装文档进行安装。

📚 详细文档

模型详情

模型描述

这是一个被推送到Hugging Face Hub的🤗 Transformers模型的模型卡片。

• 开发者： me
• 模型类型： Mistral
• 语言（NLP）： 英语
• 许可证： Apache

使用场景

适用场景

可用于极低资源消耗下的通用网络文本补全。

不适用场景

该模型不是指令模型，不适合用于指令类任务。

偏差、风险和局限性

该模型在网络文本上进行训练，尽管经过过滤，但不能保证不包含有害内容。

训练详情

训练数据

crumb/askmistral-pile-2-15

训练过程

训练超参数

• 训练机制： bf16非混合精度

评估

测试数据、因素和指标

测试数据

crumb/askmistral-pile-2-15的保留集

指标

OpenLLM排行榜评估数据集和设置

结果

OpenLLM排行榜平均得分 + 标准误差：(29.30, 0.42)

MMLU

值，标准误差 = (0.253980701754386, 0.004428598058450528)

模型检查

模型表现尚可。

环境影响

可以使用Lacoste等人（2019）中提出的机器学习影响计算器来估算碳排放。

• 硬件类型： A6000
• 使用时长： 34.74小时
• 云服务提供商： 无
• 计算区域： 爱荷华州
• 碳排放： 4.5千克CO2eq

技术规格

模型架构和目标

Mistral，因果语言建模

计算基础设施

硬件

lambda vector 2xA6000

软件

Hugging Face Transformers / PyTorch / 自定义训练器

🔧 技术细节

模型架构和目标

采用Mistral架构，用于因果语言建模。

计算基础设施

• 硬件： lambda vector 2xA6000
• 软件： Hugging Face Transformers / PyTorch / 自定义训练器

📄 许可证

Apache 2.0