Malayalam Llama 7b Instruct V0.1

🚀 马拉雅拉姆语LLaMA 7B指令模型v0.1

这是马拉雅拉姆语LLaMA 7B指令模型的首次发布，是推动马拉雅拉姆语大语言模型发展的重要一步。该模型可立即用于推理，也可进一步微调以满足特定的自然语言处理任务需求。

若想深入了解该模型的开发过程和能力，请阅读研究论文和介绍博客文章（待完成），其中概述了我们的研发历程以及该模型可能产生的影响。

🚀 快速开始

本模型可立即用于推理，也可进一步微调以满足特定的自然语言处理任务需求。若要使用简易的无代码演示，请打开提供的Google Colab笔记本，笔记本中包含完整的使用说明。

✨ 主要特性

• 基于原始LLaMA - 2构建，拥有约16,000个标记的广泛马拉雅拉姆语词汇表。
• 是一个70亿参数的类GPT模型，在约500,000个样本上进行微调，这些样本中英语和马拉雅拉姆语样本比例相等。
• 支持双语，即英语和马拉雅拉姆语。

📦 安装指南

文档中未提及安装步骤，暂不提供相关内容。

💻 使用示例

基础用法

from transformers import LlamaForCausalLM, AutoTokenizer, pipeline

model = LlamaForCausalLM.from_pretrained(
    "abhinand/malayalam-llama-instruct-v0.1",
    #load_in_8bit=True, # 根据你的GPU设置
    torch_dtype=torch.bfloat16,
    device_map={"": 0}, # 根据你的GPU数量设置
    local_files_only=False # 可选
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained("abhinand/malayalam-llama-instruct-v0.1")

inf_pipeline = pipeline("conversational", model=model, tokenizer=tokenizer)


def format_instruction(system_prompt, question, return_dict=False):
	if system_prompt is None:
		messages = [
			{'content': question, 'role': 'user'},
		]
	else:
		messages = [
			{'content': system_prompt, 'role': 'system'},
			{'content': question, 'role': 'user'},
		]

	if return_dict:
		return messages

	prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

	return prompt


# 根据你的需求设置生成配置
temperature = 0.6
repetition_penalty = 1.1
max_new_tokens = 256

SYSTEM_PROMPT = "You are an AI assistant who follows instructions extremely well. Do your best your best to help."
INPUT = "Give 3 tips to lead a healthy life"

instruction = format_instruction(
    system_prompt=SYSTEM_PROMPT,
    question=INPUT,
    return_dict=True,
)

output = inf_pipeline(
    instruction,
    temperature=temperature,
    max_new_tokens=max_new_tokens,
    repetition_penalty=repetition_penalty
)
print(output)

示例输出

Conversation id: d57cdf33-01ff-4328-8efe-5c4fefdd6e77
system: You are an AI assistant who follows instructions extremely well. Do your best your best to help.
user: Give 3 tips to lead a healthy life
assistant: 1. Establish a regular sleep schedule: Aim for 7-9 hours of sleep per night, which is crucial for overall health and well-being.
2. Engage in physical activity regularly: Incorporate exercise into your daily routine, even if it's just a brisk walk or some light stretching. Regular physical activity can help reduce stress, improve mood, and maintain a healthy weight.
3. Eat a balanced diet: Consume a variety of whole grains, lean proteins, fruits, vegetables, and healthy fats. Limit processed foods, sugary drinks, and excessive amounts of sodium.

📚 详细文档

模型描述

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

基准测试结果

使用LLM - Autoeval在runpod的RTX 3090上进行基准测试。

⚠️ 重要提示

请注意，Open LLM排行榜分数与使用相同配置在本地运行LM Eval Harness获得的分数之间存在差异。此处提到的结果基于我们自己的基准测试。若要复制这些结果，你可以使用LLM - Autoeval或在本地使用lm - evaluation - harness，并按照Open LLM排行榜“关于”页面中描述的配置进行操作。

相关模型

Open LLM排行榜评估结果

详细结果可查看此处

🔧 技术细节

文档中未提及足够的技术实现细节，暂不提供相关内容。

📄 许可证

本模型使用GNU通用公共许可证v3.0。

使用说明

⚠️ 重要提示

请注意，这些模型未经过去毒/审查处理。因此，尽管它们具有出色的语言能力，但有可能生成被认为有害或冒犯性的内容。我们敦促用户谨慎使用，并密切监督模型的输出，特别是在公共或敏感应用场景中。

认识开发者

了解这个创新模型背后的创造者，并关注他们在该领域的贡献：

• Abhinand Balachandran

引用

如果你在研究中使用了这个模型或任何与泰米尔语 - Llama相关的工作，请引用：

@misc{balachandran2023tamilllama,
      title={Tamil-Llama: A New Tamil Language Model Based on Llama 2}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我们希望这个模型能成为你自然语言处理工具包中的宝贵工具，并期待看到它在泰米尔语理解和生成方面带来的进步。