Mistral Ita 7b

🚀 用於意大利語文本生成的Mistral-7B-v0.1

本項目基於Mistral-7B-v0.1模型，針對意大利語進行了優化，能夠高效地進行意大利語的文本生成任務，為相關領域的應用提供了有力支持。

🚀 快速開始

本模型是基於Mistral-7B-v0.1的意大利語專用文本生成模型。若要查看模型性能的詳細對比，可訪問 意大利語模型排行榜。

✨ 主要特性

• 模型架構：以 Mistral-7B-v0.1 為基礎模型，專門針對意大利語進行優化。
• 量化4位版本：提供模型的量化4位版本，該版本通過將模型計算精度降低到4位，提供了更高效的處理能力，可帶來更快的性能和更低的內存使用，尤其適用於計算能力或內存資源有限的設備。如需瞭解更多詳情並訪問該模型，請訪問 Mistral-Ita-7b-GGUF 4位版本。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

MODEL_NAME = "DeepMount00/Mistral-Ita-7b"

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch.bfloat16).eval()
model.to(device)
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)

def generate_answer(prompt):
    messages = [
        {"role": "user", "content": prompt},
    ]
    model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
    generated_ids = model.generate(model_inputs, max_new_tokens=200, do_sample=True,
                                          temperature=0.001, eos_token_id=tokenizer.eos_token_id)
    decoded = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
    return decoded[0]

prompt = "Come si apre un file json in python?"
answer = generate_answer(prompt)
print(answer)

📚 詳細文檔

評估指標

📄 許可證

本項目採用Apache-2.0許可證。

👨‍💻 開發者

[Michele Montebovi]