UCCIX Llama2 13B Instruct

🚀 UCCIX-Llama2-13B-Instruct模型卡片

UCCIX-Llama2-13B-Instruct大語言模型（LLM）是一個愛爾蘭語 - 英語雙語模型，能夠理解這兩種語言，並且在愛爾蘭語任務上的表現優於許多更大的模型。 該模型基於Llama 2 - 13B構建，通過擴展詞彙表以包含愛爾蘭語原生標記，並在我們收集的約5.2億個愛爾蘭語標記（可在https://huggingface.co/datasets/ReliableAI/Irish - Text - Collection獲取）上進行了額外的持續預訓練。 隨後，我們進行了有監督的指令微調，以增強模型有效遵循人類指令的能力。

UCCIX是開發首個基於愛爾蘭語的開源大語言模型的開創性嘗試。你可以在https://arxiv.org/abs/2405.13010找到更多詳細信息。

立即與模型進行即時交互： https://aine.chat

🚀 快速開始

運行模型

指令格式

必須嚴格遵守此格式，否則模型將生成不理想的輸出。

用於為該指令模型構建提示的模板定義如下：

### Instruction:
{system_prompt}

### Input:
{instruction1}

### Response:
{respone1}

### Input:
{instruction2}

### Response:
{respone2}

使用transformers庫運行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "ReliableAI/UCCIX-Llama2-13B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id,
                                             device_map="auto",
                                             dtype=torch.float16 # optional, load in 16-bit precision mode to reduce memory usage
)
model.eval()

def make_prompt(system_prompt, instruction):
    return f"""### Instruction:
{system_prompt}

### Input:
{instruction}

### Response:
"""

user_input = "Do you know about CloudCIX?"
SYSTEM_PROMPT = "You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe."
input_prompt = make_prompt(SYSTEM_PROMPT, user_input)

input_ids = tokenizer(input_prompt, return_tensors="pt")["input_ids"]

generated_token_ids = model.generate(
    inputs=input_ids,
    max_new_tokens=100,
    do_sample=True,
    temperature=0.6,
    top_p=1,
)[0]

generated_text = tokenizer.decode(generated_token_ids)

✨ 主要特性

• 雙語能力：支持愛爾蘭語和英語，能理解並處理這兩種語言的任務。
• 性能優越：在愛爾蘭語任務上表現出色，超越許多更大的模型。
• 創新嘗試：是首個基於愛爾蘭語的開源大語言模型的開創性成果。

📦 模型信息

⚠️ 注意事項

作為一項開創性的嘗試，UCCIX模型目前沒有任何審核機制。我們期待與社區合作，完善模型對限制條件的遵循，以便在需要審核輸出的場景中使用。

📄 引用信息

@misc{tran2024uccix,
      title={UCCIX: Irish-eXcellence Large Language Model}, 
      author={Khanh-Tung Tran and Barry O'Sullivan and Hoang D. Nguyen},
      year={2024},
      eprint={2405.13010},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}