Llama 3 Portuguese Tom Cat 8b Instruct

🚀 Llama-3-portuguese-Tom-cat-8b-instruct

このモデルは、ポルトガル語で30万件のチャットのスーパーセットを使って学習されました。ポルトガル語のモデルの不足を埋めるために開発され、Llama3 8Bをベースにチャット用途に調整されています。

もし互換性を高めたい場合、LuanaモデルにはLlamaCppで実行できるGGUFファミリーもあります。以下のモデルからGGUFモデルを探索できます。

• Llama-3-portuguese-Tom-cat-8b-instruct-q8-gguf

このモデルや他のモデルを探索して、あなたのニーズに最適なものを見つけてください！

🚀 クイックスタート

このモデルは通常の形式から4ビット量子化まで使用できます。以下では両方のアプローチを紹介します。プロンプトで動詞を使うことが重要です。モデルにどのように行動するかを指示することで、応答を導くことができます。このような重要なポイントは、モデル（8bのような小さいモデルでも）のパフォーマンスを向上させます。

フルモデル : A100

ハーフモデル: L4

8ビットまたは4ビット : T4またはV100

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct")
model.eval()

Pipelineを使うこともできます。

from transformers import pipeline
pipe = pipeline("text-generation",
                model=model,
                tokenizer=tokenizer,
                do_sample=True,
                max_new_tokens=512,
                num_beams=2,
                temperature=0.3,
                top_k=50,
                top_p=0.95,
                early_stopping=True,
                pad_token_id=tokenizer.eos_token_id,
                )


def format_prompt(question:str):
    system_prompt = "Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido."

    return f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|>
    { system_prompt }<|eot_id|><|start_header_id|>user<|end_header_id|>
    { question }<|eot_id|><|start_header_id|>assistant<|end_header_id|>"""

prompt =  format_prompt("Me fale sobra a OAB, Ordem dos Advogados do Brasil")
result = pipe(prompt)
result[0]["generated_text"].split("assistant<|end_header_id|>")[1]

#A Ordem dos Advogados do Brasil (OAB) é a entidade responsável por regulamentar e fiscalizar a profissão de advogado no Brasil.
#Foi criada em 1930, com o objetivo de proteger os direitos e interesses dos advogados e da sociedade, garantindo a defesa dos direitos e garantias fundamentais.
#A OAB é uma entidade de direito público, com personalidade jurídica própria, e é composta por advogados e advogadas que atuam em todo o território nacional.
#A entidade é dirigida por um Conselho Federal, que é o órgão máximo da OAB, e é composto por 32 membros, eleitos por votação direta dos advogados e advogadas.
#A OAB tem como principais atribuições:. Regulamentar a profissão de advogado: a OAB estabelece as normas e regulamentações para a formação, habilitação e exercício 
#a profissão de advogado no Brasil. Fiscalizar a atividade dos advogados: a OAB fiscaliza a atividade dos advogados, verificando se eles atendem às normas e
#regulamentações estabelecidas.. Defender os direitos e interesses dos advogados: a OAB defende os direitos e interesses dos advogados, garantindo que eles
#possam exercer sua profissão com liberdade e segurança.\n4. Representar a sociedade: a OAB representa a sociedade, defendendo os direitos e interesses dos 
#dadãos e das instituições.A OAB também é responsável por: Certificar a formação e habilitação dos advogados; Fiscalizar a atividade dos advogados, verificando
#se eles atendem às normas e regulamentações estabelecidas;\n* Defender os direitos e interesses dos advogados, garantindo que eles possam exercer sua profissão
#com liberdade e segurança; Representar a sociedade, defendendo os direitos e interesses dos cidadãos e das instituições.Além disso, a OAB também é responsável por:
#Publicar o Diário da Ordem dos Advogados do Brasil

prompt =  format_prompt("Haja como um professor de matemática e me explique porque 2 + 2 = 4")
result = pipe(prompt)
result[0]["generated_text"].split("assistant<|end_header_id|>")[1]

#Meu aluno, é um prazer explicar um conceito fundamental da matemática!  equação 2 + 2 = 4 pode parecer simples, mas é
#importante entender por quê ela é verdadeira. Em matemática, a adição é uma operação que combina dois números para obter um resultado.
#Nesse caso, estamos adicionando 2 e 2. Para entender melhor, vamos começar com um exemplo concreto. Imagine que você tem 2 maçãs em uma mesa e seu amigo também tem
#2 maçãs em outra mesa. Se você e seu amigo combinam suas maçãs, você terá agora 4 maçãs.Agora, vamos usar símbolos para representar essa situação.
#Podemos escrever 2 + 2 =?, e o resultado é 4. Isso significa que quando você soma 2 e 2, o resultado é 4. Mas por quê isso é verdade? Isso é porque a adição é
#uma operação que segue certas regras. Uma dessas regras é que a ordem em que você soma os números não muda o resultado. Isso significa que 2 + 2 é igual a 2 + 2,
#independentemente da ordem em que você soma.Além disso, a adição também é uma operação que é associativa, o que significa que você pode adicionar números em
#qualquer ordem e o resultado será o mesmo. Por exemplo, (2 + 2) + 0 = 2 + (2 + 0). Isso é verdade porque a adição é uma operação que é idempotente, o que significa
#que adicionando 0 a um número não muda o resultado.Portanto, quando você soma 2 e 2, o resultado é 4 porque a adição segue essas regras. A equação 2 + 2 = 4
#é verdadeira porque é uma consequência lógica da definição da adição e das regras que a governam.Espero que isso tenha ajudado a entender melhor por quê 2 + 2 = 4,
#meu aluno!

もし「CUDA Out of memory」のようなメモリ問題がある場合、4ビットまたは8ビット量子化を使用する必要があります。Colabで完全なモデルを使用するにはA100が必要です。4ビットまたは8ビットを使用する場合は、T4またはL4で問題を解決できます。

💻 使用例

基本的な使用法

# 通常の使用方法
!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct")
model.eval()

高度な使用法

# 4ビット量子化の使用例
from transformers import BitsAndBytesConfig
import torch
nb_4bit_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=bnb_config,
    device_map={"": 0}
)

📚 ドキュメント

オープンポルトガル語LLMリーダーボード評価結果

詳細な結果はこちらと🚀 オープンポルトガル語LLMリーダーボードで確認できます。

コメント

アイデア、助け、レポートはいつでも歓迎します。

メール: rhaymisoncristian@gmail.com

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。