Boana 7b Instruct

🚀 Boana-7B-Instruct

Boana-7B-Instruct 是一個基於葡萄牙語數據訓練的大語言模型（LLM）。該模型基於 LLaMA2-7B 構建，這是 LLaMA-2 的一個 70 億參數版本。Boana 項目旨在提供葡萄牙語的大語言模型選項，同時提供一個複雜度較低的模型，以便計算能力較弱的用戶也能使用大語言模型。

該項目支持所有葡萄牙語國家。

✨ 主要特性

• 語言針對性：專門針對葡萄牙語數據進行訓練，能更好地處理葡萄牙語相關任務。
• 低複雜度：基於 LLaMA2-7B 微調，適合計算能力有限的用戶。

📦 安裝指南

文檔中未提及安裝步驟，若有安裝需求，請參考相關依賴庫（如 transformers）的官方文檔進行安裝。

💻 使用示例

基礎用法

import torch
from transformers import pipeline

boana = pipeline('text-generation', model='lrds-code/boana-7b-instruct', torch_dtype=torch.bfloat16, device_map='auto')

messages = [{'role':'system',
             'content':''},
            {'role':'user',
             'content':'Quantos planetas existem no sistema solar?'}]

prompt = boana.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = boana(prompt, max_new_tokens=256, do_sample=False, temperature=0, top_k=50, top_p=0.95)
print(outputs[0]['generated_text'])

# <s>[INST] <<SYS>>

# <</SYS>>

# Quantos planetas existem no sistema solar? [/INST]  O sistema solar consiste em 8 planetas:

# 1. Mercurio
# 2. Vênus
# 3. Terra
# 4. Marte
# 5. Júpiter
# 6. Saturno
# 8. Netuno

# Além desses planetas, o sistema solar também inclui outros corpos celestes, como asteroides, cometas e anões, bem como várias luas e satélites naturais

高級用法

在實際使用中，可根據需求調整生成參數，以獲得不同風格和質量的文本。例如：

# 調整 repetition_penalty 避免重複，do_sample 引入隨機性，temperature 控制隨機性程度
outputs = boana(prompt, max_new_tokens=256, repetition_penalty=1.2, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]['generated_text'])

📚 詳細文檔

模型描述

重要參數說明

• repetition_penalty：用於避免單詞或短語的重複。當該值設置大於 1 時，模型會嘗試降低生成已出現過單詞的概率。值越大，模型越傾向於避免重複。
• do_sample：決定模型是否根據計算出的概率隨機採樣下一個單詞。do_sample=True 會為生成的文本引入變化和不可預測性，而 do_sample=False 時，模型總是選擇最可能的單詞作為下一個單詞，可能導致輸出更具確定性，但也可能更重複。
• temperature：影響選擇下一個單詞的隨機性。較低的值（接近 0）使模型在選擇時更“自信”，傾向於高概率的單詞，輸出更可預測；較高的值會增加隨機性，允許模型選擇概率較低的單詞，使生成的文本更多樣化和有創意。

模型評估結果

📄 許可證

本模型使用 Academic Free License v3.0 許可證。