Malayalam Llama 7b Instruct V0.1

🚀 マラヤーラム語LLaMA 7B Instruct v0.1

このモデルは、マラヤーラム語向けの大規模言語モデル（LLM）の開発における重要な一歩となる、マラヤーラム語LLaMA 7B instructモデルの初回リリースです。このモデルは即座に推論が可能であり、特定の自然言語処理（NLP）タスクに合わせてさらに微調整することもできます。

このモデルの開発と機能について詳しく知りたい場合は、研究論文 と 紹介ブログ記事 (未完成) をご覧ください。これらの資料では、開発の過程やモデルの潜在的な影響について説明されています。

⚠️ 重要提示

このモデルはタミル語LLaMAシリーズのモデルをベースにしています。GitHubリポジトリは同じです - https://github.com/abhinand5/tamil-llama。ベースモデルとタミル語LLaMA v0.2の更新コード（このモデルのベースとなっています）は近日公開予定です。

このプロジェクトを応援し、継続的な開発を支援したい場合は、コーヒーをおごる をご検討ください。皆さんの支援は非常に大きな励みになります。

🚀 クイックスタート

簡単に使えるノーコードのデモを利用するには、提供されているGoogle Colabノートブックを開いてください。使用方法の詳細な説明はノートブック内に記載されています。

✨ 主な機能

マラヤーラム語LLaMAモデルは、元のLLaMA-2をベースに、約16,000トークンの広範なマラヤーラム語語彙を持つように強化され、調整されています。

プロンプトテンプレート: ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

ベンチマーク結果

ベンチマークは、LLM-Autoeval を使用して、RTX 3090上の runpod で行われました。

⚠️ 重要提示

Open LLM Leaderboardのスコアと、同じ設定でLM Eval Harnessを使用してローカルで実行した結果との間に不一致が見られることに注意してください。ここに記載されている結果は、私たち自身のベンチマークに基づいています。これらの結果を再現するには、LLM-Autoevalを使用するか、Open LLM LeaderboardのAboutページに記載されている設定で lm-evaluation-harness をローカルで使用することができます。

関連モデル

💻 使用例

基本的な使用法

from transformers import LlamaForCausalLM, AutoTokenizer, pipeline

model = LlamaForCausalLM.from_pretrained(
    "abhinand/malayalam-llama-instruct-v0.1",
    #load_in_8bit=True, # Set this depending on the GPU you have
    torch_dtype=torch.bfloat16,
    device_map={"": 0}, # Set this depending on the number of GPUs you have
    local_files_only=False # Optional
)
model.eval()

tokenizer = AutoTokenizer.from_pretrained("abhinand/malayalam-llama-instruct-v0.1")

inf_pipeline = pipeline("conversational", model=model, tokenizer=tokenizer)


def format_instruction(system_prompt, question, return_dict=False):
	if system_prompt is None:
		messages = [
			{'content': question, 'role': 'user'},
		]
	else:
		messages = [
			{'content': system_prompt, 'role': 'system'},
			{'content': question, 'role': 'user'},
		]

	if return_dict:
		return messages

	prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

	return prompt


# Set the generation configuration according to your needs
temperature = 0.6
repetition_penalty = 1.1
max_new_tokens = 256

SYSTEM_PROMPT = "You are an AI assistant who follows instructions extremely well. Do your best your best to help."
INPUT = "Give 3 tips to lead a healthy life"

instruction = format_instruction(
    system_prompt=SYSTEM_PROMPT,
    question=INPUT,
    return_dict=True,
)

output = inf_pipeline(
    instruction,
    temperature=temperature,
    max_new_tokens=max_new_tokens,
    repetition_penalty=repetition_penalty
)
print(output)

出力例:

Conversation id: d57cdf33-01ff-4328-8efe-5c4fefdd6e77
system: You are an AI assistant who follows instructions extremely well. Do your best your best to help.
user: Give 3 tips to lead a healthy life
assistant: 1. Establish a regular sleep schedule: Aim for 7-9 hours of sleep per night, which is crucial for overall health and well-being.
2. Engage in physical activity regularly: Incorporate exercise into your daily routine, even if it's just a brisk walk or some light stretching. Regular physical activity can help reduce stress, improve mood, and maintain a healthy weight.
3. Eat a balanced diet: Consume a variety of whole grains, lean proteins, fruits, vegetables, and healthy fats. Limit processed foods, sugary drinks, and excessive amounts of sodium.

📚 ドキュメント

使用上の注意

これらのモデルは解毒/検閲処理を行っていません。したがって、印象的な言語能力を持っていますが、有害または不快な内容を生成する可能性があります。ユーザーは、特に公開または敏感なアプリケーションでは、慎重に判断し、モデルの出力を注意深く監視することを強くお勧めします。

開発者紹介

この革新的なモデルの作成者を知り、彼らの分野への貢献をフォローしましょう。

• Abhinand Balachandran

引用

このモデルまたはタミル語LLaMA関連の研究を使用する場合は、以下のように引用してください。

@misc{balachandran2023tamilllama,
      title={Tamil-Llama: A New Tamil Language Model Based on Llama 2}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

私たちは、このモデルがあなたのNLPツールキットの中で貴重なツールとなり、タミル語の理解と生成における進歩をもたらすことを期待しています。

Open LLM Leaderboard評価結果

詳細な結果は こちら で確認できます。