Merak 7B V2 GGML

🚀 MERAK-7B-V2 GGML

このプロジェクトは、MERAK-7B-V2 のGGML形式のモデルファイルを提供しています。GGMLファイルは、llama.cpp やそれをサポートするライブラリ、UIを使ったCPU+GPU推論に対応しています。

🚀 クイックスタート

このGGML形式のモデルファイルは、様々なライブラリやUIで使用できます。以下にいくつかの例を示します。

• KoboldCpp：GPUアクセラレーションを備えた強力なGGMLウェブUIで、ストーリーテリングに特に適しています。
• LoLLMS Web UI：c_transformersバックエンドを通じてGPUアクセラレーションをサポートする優れたウェブUIです。
• LM Studio：完全な機能を備えたローカルGUIで、macOSでは完全なGPUアクセラレーションをサポートします。Windowsでも使用できますが、GPUアクセラレーションはサポートされていません。
• text-generation-webui：最も人気のあるウェブUIです。llama.cppバックエンドを通じてGPUアクセラレーションを有効にするには、追加の手順が必要です。
• ctransformers：LangChainサポートとOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python：OpenAI互換のAPIサーバーを備えたPythonライブラリです。

✨ 主な機能

• 多言語対応：インドネシア語や英語などの複数の言語に対応しています。
• 低VRAMでの実行：QLoRAを利用することで、16GBのVRAMで実行可能です。
• 多様な量子化方法：様々な量子化方法をサポートしており、メモリ使用量と精度のバランスを調整できます。

📦 インストール

必要なライブラリのインストール

システムにCUDAドライバー、Python 3.10、PyTorch 2がインストールされていることを確認してから、以下のコマンドで必要なライブラリをインストールしてください。

pip install bitsandbytes==0.39.1
pip install transformers==4.31.0
pip install peft==0.4.0
pip install accelerate==0.20.3
pip install einops==0.6.1 scipy sentencepiece datasets

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoConfig, AutoModelForCausalLM, BitsAndBytesConfig, LlamaTokenizer
from peft import PeftModel, PeftConfig

model_id = "Ichsan2895/Merak-7B-v2"
config = AutoConfig.from_pretrained(model_id)

BNB_CONFIG = BitsAndBytesConfig(load_in_4bit=True,
                                bnb_4bit_compute_dtype=torch.bfloat16,
                                bnb_4bit_use_double_quant=True,
                                bnb_4bit_quant_type="nf4",
    )

model = AutoModelForCausalLM.from_pretrained(model_id,
                                             quantization_config=BNB_CONFIG,
                                             device_map="auto",
                                             trust_remote_code=True)

tokenizer = LlamaTokenizer.from_pretrained(model_id)

def generate_response(question: str) -> str:
  prompt = f"<|prompt|>{question}\n<|answer|>".strip()

  encoding = tokenizer(prompt, return_tensors='pt').to("cuda")
  with torch.inference_mode():
    outputs = model.generate(input_ids=encoding.input_ids,
                             attention_mask=encoding.attention_mask,
                             eos_token_id=tokenizer.pad_token_id,
                             do_sample=False,
                             num_beams=2,
                             temperature=0.3,
                             repetition_penalty=1.2,
                             max_length=200)

    response = tokenizer.decode(outputs[0], skip_special_tokes=True)

    assistant_start = "<|answer|>"
    response_start = response.find(assistant_start)
return response[response_start + len(assistant_start) :].strip()

prompt = "Siapa penulis naskah proklamasi kemerdekaan Indonesia?"
print(generate_response(prompt))

高度な使用法

BitsandBytes 4-bit量子化を使用せず、より高いVRAMを使用する場合の例です。

import torch
from transformers import AutoTokenizer, AutoConfig, AutoModelForCausalLM, BitsAndBytesConfig, LlamaTokenizer
from peft import PeftModel, PeftConfig

model_id = "Ichsan2895/Merak-7B-v2"
config = AutoConfig.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id,
                                             device_map="auto",
                                             trust_remote_code=True)

tokenizer = LlamaTokenizer.from_pretrained(model_id)

def generate_response(question: str) -> str:
  prompt = f"<|prompt|>{question}\n<|answer|>".strip()

  encoding = tokenizer(prompt, return_tensors='pt').to("cuda")
  with torch.inference_mode():
    outputs = model.generate(input_ids=encoding.input_ids,
                             attention_mask=encoding.attention_mask,
                             eos_token_id=tokenizer.pad_token_id,
                             do_sample=False,
                             num_beams=2,
                             temperature=0.3,
                             repetition_penalty=1.2,
                             max_length=200)

    response = tokenizer.decode(outputs[0], skip_special_tokes=True)

    assistant_start = "<|answer|>"
    response_start = response.find(assistant_start)
return response[response_start + len(assistant_start) :].strip()

prompt = "Siapa penulis naskah proklamasi kemerdekaan Indonesia?"
print(generate_response(prompt))

📚 ドキュメント

互換性

元のllama.cpp量子化方法: q4_0, q4_1, q5_0, q5_1, q8_0

これらの方法は、5月下旬以降にリリースされたすべてのUI、ツール、ライブラリと互換性があることが保証されています。ただし、新しいk-quant方法によって大きく置き換えられるため、近い将来廃止される可能性があります。

新しいk-quant方法: q2_K, q3_K_S, q3_K_M, q3_K_L, q4_K_S, q4_K_M, q5_K_S, q6_K

これらの新しい量子化方法は、6月6日のコミット 2d43387 以降のllama.cppと互換性があります。また、最近のtext-generation-webui、KoboldCpp、llama-cpp-python、ctransformers、rustformersなどの多くのツールやライブラリとも互換性があります。他のツールやライブラリとの互換性については、それぞれのドキュメントを確認してください。

新しいk-quant方法の説明

提供されるファイル

text-generation-webuiでの実行方法

詳細な手順はこちらを参照してください：text-generation-webui/docs/llama.cpp-models.md。

🔧 技術詳細

Merak-7Bは、インドネシア語の大規模言語モデルです。このモデルは、Meta Llama-2-7B-Chat-HFをベースに、事前にクリーニングしたいくつかのインドネシア語のWikipedia記事を使用してファインチューニングされています。

QLoRA（QLora: Efficient Finetuning of Quantized LLMs）を利用することで、Merak-7Bは16GBのVRAMで実行可能です。また、Creative Commons-By Attribution-Share Alike-Non Commercial (CC-BY-SA-NC 4.0)のライセンスの下で提供されており、AI愛好者や研究者にとって便利なモデルです。

📄 ライセンス

このモデルは、Creative Commons-By Attribution-Share Alike-Non Commercial (CC-BY-SA-NC 4.0)のライセンスの下で提供されています。

変更履歴

v1 = 最初のMerak-7Bモデル。約200kのID Wikipedia記事を選択してクリーニングしました。
v2 = 最初のMerak-7Bモデルのファインチューニング版。質問のプロンプトスタイルを変更した同じID Wikipedia記事を使用して再度ファインチューニングしました。

引用

@Paper{arXiv,
  author  = {Touvron, et al},
  title   = {Llama 2: Open Foundation and Fine-Tuned Chat Models},
  journal = {arXiv preprint arXiv:2307.09288},
  year    = {2023}
}

@ONLINE{wikidump,
    author = "Wikimedia Foundation",
    title  = "Wikimedia Downloads",
    url    = "https://dumps.wikimedia.org"
}

@inproceedings{wolf-etal-2020-transformers,
    title = "Transformers: State-of-the-Art Natural Language Processing",
    author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = oct,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
    pages = "38--45"
}

@article{dettmers2023qlora,
  title   = {QLoRA: Efficient Finetuning of Quantized LLMs},
  author  = {Dettmers, Tim and Pagnoni, Artidoro and Holtzman, Ari and Zettlemoyer, Luke},
  journal = {arXiv preprint arXiv:2305.14314},
  year    = {2023}
}