Tamil Llama 7b Instruct V0.2

🚀 泰米爾語LLaMA 7B指令模型v0.2

泰米爾語LLaMA 7B指令模型的首次發佈是推進泰米爾語大語言模型發展的重要一步。該模型可立即用於推理，也可進一步微調以滿足您特定的自然語言處理任務需求。

若您想深入瞭解該模型的開發過程和能力，請閱讀研究論文和介紹性博客文章（待完成），其中概述了我們的研究歷程以及該模型的潛在影響。

🚀 快速開始

本模型可立即用於推理，也可進一步微調以滿足您特定的自然語言處理任務需求。您可以通過以下方式深入瞭解模型：

• 閱讀研究論文，瞭解模型的開發過程和能力。
• 查看介紹性博客文章（待完成），瞭解我們的研究歷程以及該模型的潛在影響。

✨ 主要特性

• 雙語支持：支持英語和泰米爾語，適用於雙語自然語言處理任務。
• 可微調：可進一步微調以滿足特定的自然語言處理任務需求。
• 高性能：在多個基準測試中表現出色，如ARC Challenge、TruthfulQA等。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import LlamaForCausalLM, AutoTokenizer, pipeline

model = LlamaForCausalLM.from_pretrained(
    "abhinand/tamil-llama-instruct-v0.2",
    #load_in_8bit=True, # Set this depending on the GPU you have
    torch_dtype=torch.bfloat16,
    device_map={"": 0}, # Set this depending on the number of GPUs you have
    local_files_only=False # Optional
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained("abhinand/tamil-llama-instruct-v0.2")

inf_pipeline = pipeline("conversational", model=model, tokenizer=tokenizer)


def format_instruction(system_prompt, question, return_dict=False):
	if system_prompt is None:
		messages = [
			{'content': question, 'role': 'user'},
		]
	else:
		messages = [
			{'content': system_prompt, 'role': 'system'},
			{'content': question, 'role': 'user'},
		]

	if return_dict:
		return messages

	prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

	return prompt


# Set the generation configuration according to your needs
temperature = 0.6
repetition_penalty = 1.1
max_new_tokens = 256

SYSTEM_PROMPT = "You are an AI assistant who follows instructions extremely well. Do your best your best to help."
INPUT = "Can you explain the significance of Tamil festival Pongal?"

instruction = format_instruction(
    system_prompt=SYSTEM_PROMPT,
    question=INPUT,
    return_dict=True,
)

output = inf_pipeline(
    instruction,
    temperature=temperature,
    max_new_tokens=max_new_tokens,
    repetition_penalty=repetition_penalty
)
print(output)

示例輸出

Conversation id: d57cdf33-01ff-4328-8efe-5c4fefdd6e77
system: You are an AI assistant who follows instructions extremely well. Do your best your best to help.
user: Can you explain the significance of Tamil festival Pongal?
assistant: Pongal is a significant harvest festival celebrated in Tamil Nadu and other parts of southern India. It marks the end of the rainy season and beginning of the agricultural year. The festival primarily revolves around giving gratitude to nature, particularly the Sun God Surya for his bountiful gifts like agriculture and health. People offer prayers to cattle, which play a significant role in agriculture, as well as their families for their continued support during the harvest season. The festival is marked by various colorful events, including preparing traditional Pongal dishes like rice cooked with milk, sugarcane, and banana, followed by exchanging gifts and celebrating among family members and friends. It also serves as a time for unity and strengthens the bond between people in their communities.

📚 詳細文檔

模型描述

泰米爾語LLaMA模型在原始LLaMA - 2的基礎上進行了增強和定製，擁有約16,000個標記的廣泛泰米爾語詞彙。

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

基準測試結果

使用LLM - Autoeval在runpod的RTX 3090上進行基準測試。

⚠️ 重要提示

請注意，在Open LLM排行榜分數與使用LM Eval Harness在相同配置下本地運行獲得的分數之間存在差異。此處提到的結果基於我們自己的基準測試。若要復現這些結果，您可以使用LLM - Autoeval或在本地使用lm - evaluation - harness，並按照Open LLM排行榜“關於”頁面中描述的配置進行操作。

相關模型

使用注意事項

⚠️ 重要提示

請注意，這些模型未經過去毒化/審查處理。因此，雖然它們具有出色的語言能力，但有可能生成被認為有害或冒犯性的內容。我們敦促用戶謹慎使用，並密切監督模型的輸出，特別是在公共或敏感應用場景中。

開發者介紹

認識一下這款創新模型背後的開發者，並關注他們在該領域的貢獻：

• Abhinand Balachandran

引用

如果您在研究中使用了該模型或任何與泰米爾語LLaMA相關的工作，請引用：

@misc{balachandran2023tamilllama,
      title={Tamil-Llama: A New Tamil Language Model Based on Llama 2}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我們希望該模型能成為您自然語言處理工具包中的寶貴工具，並期待看到它在泰米爾語理解和生成方面帶來的進步。