Komodo 7b Base

🚀 Komodo-7B-Base模型卡片

Komodo-7B-Base是一個大型語言模型，它在Llama-2-7B-Base的基礎上通過增量預訓練和詞彙擴展開發而來。該模型可以處理印尼語、英語和11種印尼地區語言。

免責聲明：這不是一個經過指令微調的模型，下游任務需要進一步微調。例如，人們通常會利用Alpaca數據集在Llama-2-7B-Base模型的基礎上進行進一步微調。因此，該模型沒有提示模板。

🚀 快速開始

由於這是一個受保護的模型，在使用模型之前，你需要登錄到你的Hugging Face（HF）賬戶。以下是一種實現方法，你可以從你的個人資料中獲取HF令牌（個人資料 -> 設置 -> 訪問令牌）：

import huggingface_hub
huggingface_hub.login("YOUR_HF_TOKEN")

登錄後，你可以開始下載並加載模型和分詞器。我們為Komodo-7B編寫了一個自定義解碼函數，因此需要傳遞trust_remote_code=True。即使不使用此參數，代碼也能運行，但解碼過程可能無法達到預期效果。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda:0" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = model.to(device)

然後，你可以嘗試使用該模型：

full_prompt = "Candi borobudur adalah"

tokens = tokenizer(full_prompt, return_tensors="pt").to(device)
output = model.generate(tokens["input_ids"], eos_token_id=tokenizer.eos_token_id)

print(tokenizer.decode(output[0], skip_special_tokens=True))
# Candi borobudur adalah candi yang terletak di Magelang, Jawa Tengah.

✨ 主要特性

• 多語言支持：能夠處理英語、印尼語以及11種印尼地區語言，包括亞齊語、巴釐語、班查爾語、布吉斯語、馬都拉語、米南加保語、爪哇語、達雅克恩加朱語、巽他語、多巴巴塔克語、楠榜語。
• 基於Llama-2：在Llama-2-7B-Base的基礎上進行增量預訓練和詞彙擴展。

📦 安裝指南

由於這是一個受保護的模型，在使用模型之前，你需要登錄到你的Hugging Face（HF）賬戶。以下是一種實現方法，你可以從你的個人資料中獲取HF令牌（個人資料 -> 設置 -> 訪問令牌）：

import huggingface_hub
huggingface_hub.login("YOUR_HF_TOKEN")

登錄後，你可以開始下載並加載模型和分詞器。我們為Komodo-7B編寫了一個自定義解碼函數，因此需要傳遞trust_remote_code=True。即使不使用此參數，代碼也能運行，但解碼過程可能無法達到預期效果。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda:0" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = model.to(device)

💻 使用示例

基礎用法

由於這是一個受保護的模型，你需要登錄到你的HF賬戶才能使用該模型。以下是登錄的方法，你可以從你的個人資料中獲取HF令牌（個人資料 -> 設置 -> 訪問令牌）：

import huggingface_hub
huggingface_hub.login("YOUR_HF_TOKEN")

登錄後，你可以下載並加載模型和分詞器。由於我們為Komodo-7B編寫了自定義解碼函數，所以需要傳遞trust_remote_code=True。即使不使用此參數，代碼也能運行，但解碼過程可能無法達到預期效果。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda:0" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Yellow-AI-NLP/komodo-7b-base", trust_remote_code=True)
model = model.to(device)

之後，你就可以嘗試使用該模型：

full_prompt = "Candi borobudur adalah"

tokens = tokenizer(full_prompt, return_tensors="pt").to(device)
output = model.generate(tokens["input_ids"], eos_token_id=tokenizer.eos_token_id)

print(tokenizer.decode(output[0], skip_special_tokens=True))
# Candi borobudur adalah candi yang terletak di Magelang, Jawa Tengah.

高級用法

暫無高級用法示例。

📚 詳細文檔

更多詳細信息可查看我們的論文：https://arxiv.org/abs/2403.09362

模型詳情

模型描述

• 開發者：Yellow.ai
• 模型類型：解碼器
• 支持語言：英語、印尼語、亞齊語、巴釐語、班查爾語、布吉斯語、馬都拉語、米南加保語、爪哇語、達雅克恩加朱語、巽他語、多巴巴塔克語、楠榜語
• 許可證：llama2

評估與結果

請注意，以下基準測試值基於我們的SFT模型Komodo-7B-Instruct，而此處我們僅發佈了基礎模型Komodo-7B-base。

基礎設施

🔧 技術細節

模型架構和目標

Komodo-7B是一個使用Llama-2架構的解碼器模型。

分詞器詳情

認識到語言多樣性的重要性，我們專注於提高我們的語言模型在印尼語和地區語言方面的能力。為此，我們通過識別並納入大約2000個印尼語常用詞和1000個Llama-2模型中缺失的地區語言詞彙，系統地擴展了分詞器的詞彙量。

增強詞彙量的標準方法通常是開發一個新的分詞器並將其與現有分詞器集成。這種技術在Chinese-LLaMA和Open-Hathi等項目中取得了顯著成果。這種策略的有效性歸因於中文和印地語等語言與英語之間的顯著語言差異。相比之下，印尼語使用與英語相同的拉丁字母，這帶來了不同的挑戰。

我們測試了傳統方法以及一種新方法，即納入印尼語詞彙中排名前n的單詞（而非標記）。我們發現，通過添加約3000個新詞彙，新方法可以獲得更好的生成得分。添加超過3000個單詞並不會顯著提高生成得分，但會增加嵌入矩陣的大小，導致訓練時間延長。

訓練數據

更多詳細信息可查看我們的論文：https://arxiv.org/abs/2403.09362

訓練過程

更多詳細信息可查看我們的論文：https://arxiv.org/abs/2403.09362

預處理

更多詳細信息可查看我們的論文：https://arxiv.org/abs/2403.09362

📄 許可證

本模型使用llama2許可證。

引用

@misc{owen2024komodo,
      title={Komodo: A Linguistic Expedition into Indonesia's Regional Languages}, 
      author={Louis Owen and Vishesh Tripathi and Abhay Kumar and Biddwan Ahmed},
      year={2024},
      eprint={2403.09362},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型卡片作者

• Louis Owen
• Vishesh Tripathi
• Abhay Kumar
• Biddwan Ahmed