Bitnet B1.58 2B 4T GGUF

🚀 [IQ2_BNとIQ2_BN_R4バージョンのbitnet-b1.58-2B-4T]

このプロジェクトは、microsoft/bitnet-b1.58-2B-4T-gguf のIQ2_BNとIQ2_BN_R4バージョンをik_llama.cppで使用するためのものです。正しいチャットテンプレートを提供し、マルチターン会話を可能にします。

🚀 クイックスタート

microsoft/bitnet-b1.58-2B-4T-gguf のIQ2_BNとIQ2_BN_R4バージョンをik_llama.cppで使用できます。IQ2_BN_R4バージョンをおすすめしますが、IQ2_BNでは -rtr を使用してランタイムで変換することもできます。

✨ 主な機能

• microsoft/bitnet-b1.58-2B-4T-gguf のIQ2_BNとIQ2_BN_R4バージョンをサポート
• ik_llama.cppでの使用を可能にする
• 正しいチャットテンプレートを提供し、マルチターン会話をサポート

💻 使用例

基本的な使用法

彼らの transformers PR からの正しい使用例:

<|begin_of_text|>User: Hey, are you conscious? Can you talk to me?<|eot_id|>Assistant:

上記の例に従って、マルチターン会話でも動作しました。

高度な使用法

より一般的なテンプレート (論文から引用):

<|begin_of_text|>System: {system_message}<|eot_id|>
User: {user_message_1}<|eot_id|>
Assistant: {assistant_message_1}<|eot_id|>
User: {user_message_2}<|eot_id|>
Assistant: {assistant_message_2}<|eot_id|>

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。