Malayallm 7B Base

🚀 馬拉雅拉姆語大語言模型（MalayaLLM）

MalayaLLM是一個專注於馬拉雅拉姆語生成式AI的語言模型。目前市面上的許多大語言模型雖能支持包括馬拉雅拉姆語在內的多語言，但針對馬拉雅拉姆語的內容生成和問答等特定任務，其性能仍有提升空間。本項目通過使用全面的馬拉雅拉姆語數據集對LLAMA2模型進行持續預訓練，來增強模型在馬拉雅拉姆語相關任務上的表現。

🚀 快速開始

若想深入瞭解模型訓練、微調及其他高級技術，請參考MalayaLLM的GitHub倉庫： MalayaLLM GitHub倉庫

開發者信息： Vishnu Prasad J的領英主頁

✨ 主要特性

• 定製化詞彙表：MalayaLLM模型在原LLaMA - 2的基礎上進行了改進和定製，融入了約18,000個標記的全面馬拉雅拉姆語詞彙表。
• 多語言支持：支持馬拉雅拉姆語和英語。

📚 詳細文檔

模型描述

• 模型類型：一個基於馬拉雅拉姆語標記進行預訓練的7B LLaMA2模型。
• 語言：馬拉雅拉姆語和英語
• 數據集：
  • ai4bharat
  • CulturaX
• 源模型：meta - llama/Llama - 2 - 7b - hf
• 訓練精度：float16
• 代碼倉庫：GitHub

可用模型

注意：MalayaLLM 7B Instruct v0.2是最新模型。

可用模型的量化版本

📄 許可證

本模型採用Apache - 2.0許可證。