🚀 马埃斯特rale聊天测试版 ༄
马埃斯特rale聊天测试版是一款专为意大利语设计的语言模型,基于Mistral - 7b进行持续预训练和微调,能为用户提供高质量的意大利语对话服务。
🚀 快速开始
本模型使用ChatML提示格式,以下是使用示例:
<|im_start|>system
Sei un assistente utile.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
以下是Python代码示例,展示如何使用该模型:
from transformers import (
AutoTokenizer,
AutoModelForCausalLM,
GenerationConfig,
TextStreamer
)
import torch
tokenizer = AutoTokenizer.from_pretrained("mii-llm/maestrale-chat-v0.3-beta")
model = AutoModelForCausalLM.from_pretrained("mii-llm/maestrale-chat-v0.3-beta", load_in_8bit=True, device_map="auto")
gen = GenerationConfig(
do_sample=True,
temperature=0.7,
repetition_penalty=1.2,
top_k=50,
top_p=0.95,
max_new_tokens=500,
pad_token_id=tokenizer.eos_token_id,
eos_token_id=tokenizer.convert_tokens_to_ids("<|im_end|>")
)
streamer = TextStreamer(tokenizer, skip_prompt=True)
messages = [
{"role": "system", "content": "Sei un assistente utile."},
{"role": "user", "content": "{prompt}"}
]
with torch.no_grad():
temp = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(temp, return_tensors="pt").to("cuda")
_ = model.generate(
**inputs,
streamer=streamer,
generation_config=gen
)
✨ 主要特性
- 语言模型:基于Mistral - 7b专为意大利语打造,在精心策划的大规模高质量意大利语语料库上进行持续预训练。
- 微调:在对话/指令上进行了三个周期的SFT微调。
- KTO对齐:与KTO对齐。
- v0.3版本特性:
- 支持函数调用。
- 减少默认系统提示,避免浪费令牌(预对齐)。
📚 详细文档
模型描述
该模型是针对意大利语的Mistral - 7b语言模型,在特定的大规模高质量意大利语语料库上进行了持续预训练,并进行了三个周期的SFT微调,同时与KTO对齐。v0.3版本增加了函数调用功能,并对默认系统提示进行了优化。
📄 许可证
本模型使用CC - BY - NC - 4.0许可证。
模型信息表格
属性 |
详情 |
模型名称 |
maestrale - chat - v0.3 - beta |
语言模型 |
针对意大利语的Mistral - 7b,在精心策划的大规模高质量意大利语语料库上进行持续预训练 |
微调 |
在对话/指令上进行三个周期的SFT微调 |
KTO对齐 |
与KTO对齐 |
版本特性(v0.3) |
支持函数调用;减少默认系统提示以避免浪费令牌(预对齐) |
提示模板 |
`< |
许可证 |
CC - BY - NC - 4.0 |
标签 |
sft、it、mistral、chatml、axolotl、kpo |
提示信息
⚠️ 重要提示
这是一个测试版本,并不“安全”。
💡 使用建议
如果你想为项目做出贡献,请点击此处进行捐赠,这将有助于我们构建更好的数据集和模型。
本模型由@efederici和@mferraretto开发。
