Boana 7b Instruct

🚀 Boana-7B-Instruct

Boana-7B-Instructは、ポルトガル語のデータで学習されたLLMです。このモデルはLLaMA2-7Bに基づいており、LLaMA-2の70億パラメータのバージョンです。Boanaプロジェクトは、ポルトガル語のLLMオプションを提供すると同時に、計算能力の低いユーザーもLLMを利用できるように、よりシンプルなモデルを提供することを目的としています。

✨ 主な機能

Boana-7B-Instructは、ポルトガル語データで学習されたLLMで、LLaMA2-7Bをベースにしています。このモデルは、ポルトガル語のテキスト生成タスクに特化しており、計算能力の低いユーザーにもアクセスしやすいように設計されています。

モデルの詳細

📦 インストール

このセクションでは、インストールに関する具体的なコマンドが提供されていないため、省略します。

💻 使用例

基本的な使用法

import torch
from transformers import pipeline

boana = pipeline('text-generation', model='lrds-code/boana-7b-instruct', torch_dtype=torch.bfloat16, device_map='auto')

messages = [{'role':'system',
             'content':''},
            {'role':'user',
             'content':'Quantos planetas existem no sistema solar?'}]

prompt = boana.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = boana(prompt, max_new_tokens=256, do_sample=False, temperature=0, top_k=50, top_p=0.95)
print(outputs[0]['generated_text'])

# <s>[INST] <<SYS>>

# <</SYS>>

# Quantos planetas existem no sistema solar? [/INST]  O sistema solar consiste em 8 planetas:

# 1. Mercurio
# 2. Vênus
# 3. Terra
# 4. Marte
# 5. Júpiter
# 6. Saturno
# 8. Netuno

# Além desses planetas, o sistema solar também inclui outros corpos celestes, como asteroides, cometas e anões, bem como várias luas e satélites naturais

🔧 技術詳細

重要なパラメータ

• repetition_penalty: 単語やフレーズの繰り返しを避けるために使用されます。この値を1より大きく設定すると、モデルは以前に出現した単語を生成する確率を下げようとします。基本的に、値が大きいほど、モデルは繰り返しを避けようとします。
• do_sample: モデルが計算された確率に基づいて次の単語をランダムにサンプリングするかどうかを決定します。したがって、do_sample=True は生成されるテキストに変動性と予測不能性をもたらし、一方 do_sample=False の場合、モデルは常に最も確率の高い単語を次の単語として選択し、より決定的で、場合によっては繰り返しの多い出力につながる可能性があります。
• temperature: 次の単語の選択におけるランダム性に影響します。低い値（0に近い）は、モデルが選択をより「確信的」にし、高い確率の単語を選択するようにし、より予測可能な出力につながります。一方、高い値はランダム性を増加させ、モデルが確率の低い単語を選択できるようにし、生成されるテキストをより多様で創造的にすることができます。

📄 ライセンス

このモデルはAcademic Free License v3.0の下で提供されています。