Phi 3 Portuguese Tom Cat 4k Instruct

🚀 Phi-3-portuguese-tom-cat-4k-instruct

本模型基於300,000條葡萄牙語指令的超集進行訓練，旨在填補葡萄牙語模型的空白。它是從microsoft/Phi-3-mini-4k微調而來。

🚀 快速開始

模型使用環境建議

• 完整模型：建議使用A100。
• 半精度模型：可使用L4。
• 8位或4位量化：T4或V100即可。

安裝依賴

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

加載模型和分詞器

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct")
model.eval()

使用Pipeline進行文本生成

from transformers import pipeline
pipe = pipeline("text-generation",
                model=model,
                tokenizer=tokenizer,
                do_sample=True,
                max_new_tokens=512,
                num_beams=2,
                temperature=0.3,
                top_k=50,
                top_p=0.95,
                early_stopping=True,
                pad_token_id=tokenizer.eos_token_id,
                )


def format_template(question:str):
    system_prompt = "Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido."
    return f"""<s><|system|>
    { system_prompt }
    <|user|>
    { question }
    <|assistant|>
    """

question = format_template("E possivel ir de Carro dos Estados unidos ate o japão")
pipe(question)

4位量化示例

如果你遇到“CUDA Out of memory”等內存問題，可使用4位或8位量化。

from transformers import BitsAndBytesConfig
import torch
nb_4bit_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=bnb_config,
    device_map={"": 0}
)

✨ 主要特性

• 基於300,000條葡萄牙語指令的超集進行訓練，有助於填補葡萄牙語模型的空白。
• 可進行正常形式的使用，也支持到4位量化。
• 有對應的GGUF家族模型，可使用LlamaCpp運行，增強了兼容性。

📦 安裝指南

使用該模型前，需要安裝以下依賴：

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

💻 使用示例

基礎用法

# 安裝依賴
!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

# 加載模型和分詞器
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct")
model.eval()

# 使用Pipeline進行文本生成
from transformers import pipeline
pipe = pipeline("text-generation",
                model=model,
                tokenizer=tokenizer,
                do_sample=True,
                max_new_tokens=512,
                num_beams=2,
                temperature=0.3,
                top_k=50,
                top_p=0.95,
                early_stopping=True,
                pad_token_id=tokenizer.eos_token_id,
                )

def format_template(question:str):
    system_prompt = "Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido."
    return f"""<s><|system|>
    { system_prompt }
    <|user|>
    { question }
    <|assistant|>
    """

question = format_template("E possivel ir de Carro dos Estados unidos ate o japão")
pipe(question)

高級用法

如果你遇到“CUDA Out of memory”等內存問題，可使用4位或8位量化：

from transformers import BitsAndBytesConfig
import torch
nb_4bit_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=bnb_config,
    device_map={"": 0}
)

📚 詳細文檔

模型相關信息

其他GGUF模型

如果你需要增強兼容性，Luana模型也有可以使用LlamaCpp運行的GGUF家族模型：

• rhaymison/phi-3-portuguese-tom-cat-4k-instruct-q8-gguf
• rhaymison/phi-3-portuguese-tom-cat-4k-instruct-f16-gguf

評估結果

詳細的評估結果可以在這裡和🚀 Open Portuguese LLM Leaderboard找到。

📄 許可證

本模型使用的許可證為apache-2.0。

聯繫方式

如果你有任何想法、需要幫助或進行反饋，歡迎通過以下方式聯繫：

• 郵箱：rhaymisoncristian@gmail.com
• LinkedIn
• GitHub

⚠️ 重要提示

如果你遇到“CUDA Out of memory”等內存問題，應使用4位或8位量化。對於完整模型，在colab中需要A100；如果你想使用4位或8位量化，T4或L4即可解決問題。

💡 使用建議

在你的提示中，動詞很重要。告訴模型如何行動或表現，這樣可以引導它們給出更好的響應。像這樣的重要點有助於模型（即使是像4b這樣的小模型）表現得更好。