Towerinstruct 7B V0.2 GGUF

🚀 TowerInstruct 7B v0.2

Unbabelによる翻訳用のモデルで、複数言語に対応しています。

🚀 クイックスタート

このモデルは翻訳タスクに特化しており、複数の言語に対応しています。以下にモデルの基本情報を示します。

✨ 主な機能

• 複数言語に対応した翻訳機能を提供します。
• 4096のコンテキストサイズを持ち、長い文章の処理も可能です。

📚 ドキュメント

モデル情報

• モデル作成者: Unbabel
• 元のカード (詳細情報あり): https://huggingface.co/Unbabel/TowerInstruct-7B-v0.2
• 言語: English, Portuguese, Spanish, French, German, Dutch, Italian, Korean, Chinese, Russian。
• コンテキストサイズ: 4096ですが、モデルのカードによると max_seq_length: 2048 で訓練されているため、入力は ≤2048 トークン (約1500語) にすることを確認してください。
• テンプレート: モデルはChatMLプロンプトテンプレートを使用して訓練されており、システムプロンプトは一切使用されていません!!! つまり、<|im_start|>system は存在せず、以下のような形式です。

<|im_start|>user
{USER PROMPT}<|im_end|>
<|im_start|>assistant
{MODEL RESPONSE}<|im_end|>
<|im_start|>user
[...]

量子化情報

imatrixは汎用的でないLLMに適しているかわからないため、使用していません。

llama.cpp @ 4c4cb30736582cacb1a164a9d4bc8e17b1014be7 (2024-02-24) で量子化されています。

IQ3_M は最低限 4c4cb30736582cacb1a164a9d4bc8e17b1014be7 が必要です。

ライセンス情報

これらの.ggufファイル自体はCC-0 (つまり、公共ドメイン) の下にあります。

TowerInstruct-7B-v0.2自体はCC-BY-NC-4.0の下にあります ("CC-BY-NC-4.0" の "NC" は "non-commercial" を意味し、法的に曖昧です)。

ただし、このモデルはLlama 2モデルに基づいており、LLAMA 2 Community License (Copyright © Meta Platforms, Inc. All Rights Reserved.) の下でライセンスされています。要約すると、いじめ、軍事、犯罪活動には使用できません。

⚠️ 重要提示

モデルは max_seq_length: 2048 で訓練されているため、入力は ≤2048 トークンにすることを確認してください。

💡 使用建议

モデルのテンプレートにはシステムプロンプトが含まれていないため、入力時に注意してください。