Phi 3 Portuguese Tom Cat 4k Instruct

🚀 Phi-3-portuguese-tom-cat-4k-instruct

このモデルは、ポルトガル語の命令30万件以上のスーパーセットを使用して学習されました。ポルトガル語のモデルの不足を埋めるために開発され、microsoft/Phi-3-mini-4kをベースに調整されています。

🚀 クイックスタート

このモデルは、通常の形式から4ビット量子化まで使用できます。以下に、両方のアプローチを示します。プロンプトでは動詞が重要です。モデルにどのように行動するかを指示することで、応答を導くことができます。このような重要なポイントは、モデル（4bのような小さなモデルでも）の性能を大幅に向上させます。

✨ 主な機能

• ポルトガル語の命令を用いた学習により、ポルトガル語での性能が向上。
• 4ビット量子化まで対応し、様々な環境での使用が可能。
• Luanaモデルと同様に、GGUFファミリーのモデルも提供され、LlamaCppで実行できる。

📦 インストール

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct")
model.eval()

高度な使用法

from transformers import pipeline
pipe = pipeline("text-generation",
                model=model,
                tokenizer=tokenizer,
                do_sample=True,
                max_new_tokens=512,
                num_beams=2,
                temperature=0.3,
                top_k=50,
                top_p=0.95,
                early_stopping=True,
                pad_token_id=tokenizer.eos_token_id,
                )


def format_template(question:str):
    system_prompt = "Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido."
    return f"""<s><|system|>
    { system_prompt }
    <|user|>
    { question }
    <|assistant|>
    """

question = format_template("E possivel ir de Carro dos Estados unidos ate o japão")
pipe(question)

4ビット量子化の使用例

from transformers import BitsAndBytesConfig
import torch
nb_4bit_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=bnb_config,
    device_map={"": 0}
)

📚 ドキュメント

モデルの使用環境

• FULL MODEL : A100
• HALF MODEL : L4
• 8bit or 4bit : T4 or V100

メモリの問題（「CUDA Out of memory」など）が発生した場合は、4ビットまたは8ビット量子化を使用する必要があります。Colabで完全なモデルを使用するにはA100が必要です。4ビットまたは8ビットを使用する場合は、T4またはL4で問題を解決できます。

評価結果

詳細な結果はこちらおよび🚀 Open Portuguese LLM Leaderboardで確認できます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

コメント

アイデア、支援、報告など、いかなるものも大歓迎です。 メール: rhaymisoncristian@gmail.com