Mistral Ita 7b

🚀 Mistral-7B-v0.1 を用いたイタリア語テキスト生成

このモデルは、イタリア語のテキスト生成に特化したMistral-7B-v0.1ベースのモデルです。高精度なイタリア語テキスト生成を実現します。

🚀 クイックスタート

このモデルは、イタリア語のテキスト生成に特化しており、高い性能を発揮します。以下のセクションでは、モデルのアーキテクチャ、評価結果、使用方法などについて詳しく説明します。

✨ 主な機能

• イタリア語のテキスト生成に特化したモデルです。
• 高精度なテキスト生成を実現します。
• 4ビット量子化バージョンが利用可能で、計算リソースの効率化を図れます。

📚 ドキュメント

モデルアーキテクチャ

• ベースモデル: Mistral-7B-v0.1
• 特化分野: イタリア語

評価

モデルの性能を詳細に比較するには、イタリア語モデルのリーダーボードを参照してください。

以下は、性能指標の内訳です:

4ビット量子化バージョン

モデルの4ビット量子化バージョンが利用可能です。このバージョンは、モデルの計算精度を4ビットに削減することで、より効率的な処理能力を提供し、高速なパフォーマンスとメモリ使用量の削減を実現します。これは、計算能力やメモリリソースが限られたデバイスでのモデル展開に特に有用です。

詳細やモデルへのアクセスについては、以下のリンクを参照してください: Mistral-Ita-7b-GGUF 4-bit version。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

MODEL_NAME = "DeepMount00/Mistral-Ita-7b"

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch.bfloat16).eval()
model.to(device)
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)

def generate_answer(prompt):
    messages = [
        {"role": "user", "content": prompt},
    ]
    model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
    generated_ids = model.generate(model_inputs, max_new_tokens=200, do_sample=True,
                                          temperature=0.001, eos_token_id=tokenizer.eos_token_id)
    decoded = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
    return decoded[0]

prompt = "Come si apre un file json in python?"
answer = generate_answer(prompt)
print(answer)

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。