🚀 UCCIX-Llama2-13B-Instruct模型卡片
UCCIX-Llama2-13B-Instruct大語言模型(LLM)是一個愛爾蘭語 - 英語雙語模型,能夠理解這兩種語言,並且在愛爾蘭語任務上的表現優於許多更大的模型。
該模型基於Llama 2 - 13B構建,通過擴展詞彙表以包含愛爾蘭語原生標記,並在我們收集的約5.2億個愛爾蘭語標記(可在https://huggingface.co/datasets/ReliableAI/Irish - Text - Collection獲取)上進行了額外的持續預訓練。
隨後,我們進行了有監督的指令微調,以增強模型有效遵循人類指令的能力。
UCCIX是開發首個基於愛爾蘭語的開源大語言模型的開創性嘗試。你可以在https://arxiv.org/abs/2405.13010找到更多詳細信息。
立即與模型進行即時交互: https://aine.chat
🚀 快速開始
運行模型
指令格式
必須嚴格遵守此格式,否則模型將生成不理想的輸出。
用於為該指令模型構建提示的模板定義如下:
### Instruction:
{system_prompt}
### Input:
{instruction1}
### Response:
{respone1}
### Input:
{instruction2}
### Response:
{respone2}
使用transformers庫運行模型:
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "ReliableAI/UCCIX-Llama2-13B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id,
device_map="auto",
dtype=torch.float16
)
model.eval()
def make_prompt(system_prompt, instruction):
return f"""### Instruction:
{system_prompt}
### Input:
{instruction}
### Response:
"""
user_input = "Do you know about CloudCIX?"
SYSTEM_PROMPT = "You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe."
input_prompt = make_prompt(SYSTEM_PROMPT, user_input)
input_ids = tokenizer(input_prompt, return_tensors="pt")["input_ids"]
generated_token_ids = model.generate(
inputs=input_ids,
max_new_tokens=100,
do_sample=True,
temperature=0.6,
top_p=1,
)[0]
generated_text = tokenizer.decode(generated_token_ids)
✨ 主要特性
- 雙語能力:支持愛爾蘭語和英語,能理解並處理這兩種語言的任務。
- 性能優越:在愛爾蘭語任務上表現出色,超越許多更大的模型。
- 創新嘗試:是首個基於愛爾蘭語的開源大語言模型的開創性成果。
📦 模型信息
屬性 |
詳情 |
基礎模型 |
ReliableAI/UCCIX-Llama2-13B |
訓練數據集 |
ReliableAI/Irish-Text-Collection |
支持語言 |
英語、愛爾蘭語 |
許可證 |
apache-2.0 |
任務類型 |
文本生成 |
⚠️ 注意事項
作為一項開創性的嘗試,UCCIX模型目前沒有任何審核機制。我們期待與社區合作,完善模型對限制條件的遵循,以便在需要審核輸出的場景中使用。
📄 引用信息
@misc{tran2024uccix,
title={UCCIX: Irish-eXcellence Large Language Model},
author={Khanh-Tung Tran and Barry O'Sullivan and Hoang D. Nguyen},
year={2024},
eprint={2405.13010},
archivePrefix={arXiv},
primaryClass={cs.CL}
}