🚀 Boana-7B-Instruct
Boana-7B-Instruct 是一個基於葡萄牙語數據訓練的大語言模型(LLM)。該模型基於 LLaMA2-7B 構建,這是 LLaMA-2 的一個 70 億參數版本。Boana 項目旨在提供葡萄牙語的大語言模型選項,同時提供一個複雜度較低的模型,以便計算能力較弱的用戶也能使用大語言模型。
該項目支持所有葡萄牙語國家。
✨ 主要特性
- 語言針對性:專門針對葡萄牙語數據進行訓練,能更好地處理葡萄牙語相關任務。
- 低複雜度:基於 LLaMA2-7B 微調,適合計算能力有限的用戶。
📦 安裝指南
文檔中未提及安裝步驟,若有安裝需求,請參考相關依賴庫(如 transformers
)的官方文檔進行安裝。
💻 使用示例
基礎用法
import torch
from transformers import pipeline
boana = pipeline('text-generation', model='lrds-code/boana-7b-instruct', torch_dtype=torch.bfloat16, device_map='auto')
messages = [{'role':'system',
'content':''},
{'role':'user',
'content':'Quantos planetas existem no sistema solar?'}]
prompt = boana.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = boana(prompt, max_new_tokens=256, do_sample=False, temperature=0, top_k=50, top_p=0.95)
print(outputs[0]['generated_text'])
高級用法
在實際使用中,可根據需求調整生成參數,以獲得不同風格和質量的文本。例如:
outputs = boana(prompt, max_new_tokens=256, repetition_penalty=1.2, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]['generated_text'])
📚 詳細文檔
模型描述
重要參數說明
- repetition_penalty:用於避免單詞或短語的重複。當該值設置大於 1 時,模型會嘗試降低生成已出現過單詞的概率。值越大,模型越傾向於避免重複。
- do_sample:決定模型是否根據計算出的概率隨機採樣下一個單詞。
do_sample=True
會為生成的文本引入變化和不可預測性,而 do_sample=False
時,模型總是選擇最可能的單詞作為下一個單詞,可能導致輸出更具確定性,但也可能更重複。
- temperature:影響選擇下一個單詞的隨機性。較低的值(接近 0)使模型在選擇時更“自信”,傾向於高概率的單詞,輸出更可預測;較高的值會增加隨機性,允許模型選擇概率較低的單詞,使生成的文本更多樣化和有創意。
模型評估結果
任務類型 |
數據集 |
指標 |
值 |
文本生成 |
Muennighoff/xwinograd(XWinograd (pt) - test) |
準確率 |
50.57 |
📄 許可證
本模型使用 Academic Free License v3.0 許可證。