Malayalam Llama 7b Instruct V0.1

🚀 馬拉雅拉姆語LLaMA 7B指令模型v0.1

這是馬拉雅拉姆語LLaMA 7B指令模型的首次發佈，是推動馬拉雅拉姆語大語言模型發展的重要一步。該模型可立即用於推理，也可進一步微調以滿足特定的自然語言處理任務需求。

若想深入瞭解該模型的開發過程和能力，請閱讀研究論文和介紹博客文章（待完成），其中概述了我們的研發歷程以及該模型可能產生的影響。

🚀 快速開始

本模型可立即用於推理，也可進一步微調以滿足特定的自然語言處理任務需求。若要使用簡易的無代碼演示，請打開提供的Google Colab筆記本，筆記本中包含完整的使用說明。

✨ 主要特性

• 基於原始LLaMA - 2構建，擁有約16,000個標記的廣泛馬拉雅拉姆語詞彙表。
• 是一個70億參數的類GPT模型，在約500,000個樣本上進行微調，這些樣本中英語和馬拉雅拉姆語樣本比例相等。
• 支持雙語，即英語和馬拉雅拉姆語。

📦 安裝指南

文檔中未提及安裝步驟，暫不提供相關內容。

💻 使用示例

基礎用法

from transformers import LlamaForCausalLM, AutoTokenizer, pipeline

model = LlamaForCausalLM.from_pretrained(
    "abhinand/malayalam-llama-instruct-v0.1",
    #load_in_8bit=True, # 根據你的GPU設置
    torch_dtype=torch.bfloat16,
    device_map={"": 0}, # 根據你的GPU數量設置
    local_files_only=False # 可選
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained("abhinand/malayalam-llama-instruct-v0.1")

inf_pipeline = pipeline("conversational", model=model, tokenizer=tokenizer)


def format_instruction(system_prompt, question, return_dict=False):
	if system_prompt is None:
		messages = [
			{'content': question, 'role': 'user'},
		]
	else:
		messages = [
			{'content': system_prompt, 'role': 'system'},
			{'content': question, 'role': 'user'},
		]

	if return_dict:
		return messages

	prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

	return prompt


# 根據你的需求設置生成配置
temperature = 0.6
repetition_penalty = 1.1
max_new_tokens = 256

SYSTEM_PROMPT = "You are an AI assistant who follows instructions extremely well. Do your best your best to help."
INPUT = "Give 3 tips to lead a healthy life"

instruction = format_instruction(
    system_prompt=SYSTEM_PROMPT,
    question=INPUT,
    return_dict=True,
)

output = inf_pipeline(
    instruction,
    temperature=temperature,
    max_new_tokens=max_new_tokens,
    repetition_penalty=repetition_penalty
)
print(output)

示例輸出

Conversation id: d57cdf33-01ff-4328-8efe-5c4fefdd6e77
system: You are an AI assistant who follows instructions extremely well. Do your best your best to help.
user: Give 3 tips to lead a healthy life
assistant: 1. Establish a regular sleep schedule: Aim for 7-9 hours of sleep per night, which is crucial for overall health and well-being.
2. Engage in physical activity regularly: Incorporate exercise into your daily routine, even if it's just a brisk walk or some light stretching. Regular physical activity can help reduce stress, improve mood, and maintain a healthy weight.
3. Eat a balanced diet: Consume a variety of whole grains, lean proteins, fruits, vegetables, and healthy fats. Limit processed foods, sugary drinks, and excessive amounts of sodium.

📚 詳細文檔

模型描述

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

基準測試結果

使用LLM - Autoeval在runpod的RTX 3090上進行基準測試。

⚠️ 重要提示

請注意，Open LLM排行榜分數與使用相同配置在本地運行LM Eval Harness獲得的分數之間存在差異。此處提到的結果基於我們自己的基準測試。若要複製這些結果，你可以使用LLM - Autoeval或在本地使用lm - evaluation - harness，並按照Open LLM排行榜“關於”頁面中描述的配置進行操作。

相關模型

Open LLM排行榜評估結果

詳細結果可查看此處

🔧 技術細節

文檔中未提及足夠的技術實現細節，暫不提供相關內容。

📄 許可證

本模型使用GNU通用公共許可證v3.0。

使用說明

⚠️ 重要提示

請注意，這些模型未經過去毒/審查處理。因此，儘管它們具有出色的語言能力，但有可能生成被認為有害或冒犯性的內容。我們敦促用戶謹慎使用，並密切監督模型的輸出，特別是在公共或敏感應用場景中。

認識開發者

瞭解這個創新模型背後的創造者，並關注他們在該領域的貢獻：

• Abhinand Balachandran

引用

如果你在研究中使用了這個模型或任何與泰米爾語 - Llama相關的工作，請引用：

@misc{balachandran2023tamilllama,
      title={Tamil-Llama: A New Tamil Language Model Based on Llama 2}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我們希望這個模型能成為你自然語言處理工具包中的寶貴工具，並期待看到它在泰米爾語理解和生成方面帶來的進步。