Hiber Multi 10B Instruct

🚀 Hiber-Multi-10B-Instruct

這是一款基於先進變壓器架構構建的多語言語言模型，具備強大的文本生成能力，可處理多種語言的指令任務，為多語言場景下的應用提供了高效解決方案。

✨ 主要特性

• 多語言支持：支持英語、中文、西班牙語、法語、德語、日語、韓語和俄語等多種語言。
• 先進架構：基於先進的變壓器架構，擁有高效的注意力機制和創新的架構設計。
• 高性能表現：在內存使用、吞吐量和延遲等方面表現出色。

📦 安裝指南

文檔未提供具體安裝步驟，此部分跳過。

💻 使用示例

基礎用法

from dataclasses import dataclass
from typing import Optional, List, Dict, Union
import torch
import torch.nn.functional as F
from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer

@dataclass
class GenerationConfig:
    temperature: float = 0.7
    top_p: float = 0.9
    top_k: int = 50
    repetition_penalty: float = 1.1
    max_new_tokens: int = 512
    do_sample: bool = True
    num_beams: int = 1

class HiberMultiPipeline:
    def __init__(
        self,
        model_name: str = "Hiber-Multi-10B-Instruct",
        device_map: str = "auto",
        torch_dtype: Optional[torch.dtype] = torch.bfloat16,
        load_in_8bit: bool = False,
        load_in_4bit: bool = False,
    ):
        self.config = AutoConfig.from_pretrained(model_name)
        self.tokenizer = AutoTokenizer.from_pretrained(
            model_name,
            padding_side="left",
            truncation_side="left",
        )
        
        quantization_config = None
        if load_in_8bit or load_in_4bit:
            from transformers import BitsAndBytesConfig
            quantization_config = BitsAndBytesConfig(
                load_in_8bit=load_in_8bit,
                load_in_4bit=load_in_4bit,
                bnb_4bit_compute_dtype=torch.bfloat16,
                bnb_4bit_quant_type="nf4",
            )

        self.model = AutoModelForCausalLM.from_pretrained(
            model_name,
            device_map=device_map,
            torch_dtype=torch_dtype,
            quantization_config=quantization_config,
            trust_remote_code=True,
        )
        
    def generate(
        self,
        messages: List[Dict[str, str]],
        generation_config: Optional[GenerationConfig] = None,
    ) -> str:
        if generation_config is None:
            generation_config = GenerationConfig()
            
        prompt = self.tokenizer.apply_chat_template(
            messages,
            tokenize=False,
            add_generation_prompt=True
        )
        
        inputs = self.tokenizer(
            prompt,
            return_tensors="pt",
            padding=True,
            truncation=True,
            max_length=self.config.max_position_embeddings,
        ).to(self.model.device)
        
        with torch.inference_mode():
            outputs = self.model.generate(
                **inputs,
                pad_token_id=self.tokenizer.pad_token_id,
                bos_token_id=self.tokenizer.bos_token_id,
                eos_token_id=self.tokenizer.eos_token_id,
                **asdict(generation_config),
            )
            
        response = self.tokenizer.decode(
            outputs[0][inputs["input_ids"].shape[1]:],
            skip_special_tokens=True,
        )
        return response.strip()

    @torch.inference_mode()
    def batch_generate(
        self,
        batch_messages: List[List[Dict[str, str]]],
        generation_config: Optional[GenerationConfig] = None,
        batch_size: int = 8,
    ) -> List[str]:
        responses = []
        for i in range(0, len(batch_messages), batch_size):
            batch = batch_messages[i:i + batch_size]
            responses.extend([
                self.generate(msgs, generation_config)
                for msgs in batch
            ])
        return responses

高級用法

文檔未提供高級用法示例，此部分跳過。

📚 詳細文檔

架構概述

基於先進變壓器架構構建的最先進多語言語言模型：

MODEL_SPECS = {
    "architecture": "Decoder-only Transformer",
    "params": "10B",
    "context_length": 4096,
    "hidden_size": 4096,
    "attention_heads": 32,
    "kv_heads": 8,
    "intermediate_size": 14336,
    "num_layers": 48,
    "vocab_size": 32000,
    "position_encoding": "Rotary",
    "activation": "SwiGLU",
    "norm_type": "RMSNorm"
}

關鍵組件

• 先進的注意力機制

  • 32頭多查詢注意力
  • 分組查詢注意力（8個KV頭）
  • Flash Attention 2.0優化
  • 長序列滑動窗口注意力

• 架構創新

  • SwiGLU激活函數
  • RMSNorm層歸一化
  • 旋轉位置嵌入（RoPE）
  • 自適應KV緩存
  • 專家混合路由

性能特徵

內存使用

• FP16：20GB顯存
• INT8：12GB顯存
• INT4：8GB顯存

吞吐量（A100 GPU）

• 批量大小1：32個令牌/秒
• 批量大小8：180個令牌/秒
• 批量大小32：420個令牌/秒

延遲（毫秒）

LATENCY_PROFILE = {
    "first_token": 42,
    "token_throughput": {
        "batch_1": 31.25,
        "batch_8": 5.56,
        "batch_32": 2.38
    },
    "context_scaling": {
        "1024_tokens": 1.0,
        "2048_tokens": 1.2,
        "4096_tokens": 1.8
    }
}

系統要求

最低配置

• CUDA 11.8+
• PyTorch 2.0+
• 16GB顯存（INT8）
• 64GB內存
• AVX2支持

推薦配置

• CUDA 12.0+
• PyTorch 2.1+
• 24GB以上顯存
• 128GB內存
• NVIDIA Ampere GPU
• NVMe SSD

🔧 技術細節

文檔未提供具體技術細節，此部分跳過。

📄 許可證

本模型使用的許可證為llama3.1。

引用

@software{hiber_multi_2024,
    title = {Hiber-Multi-10B-Instruct: Advanced Multilingual Language Model},
    author = {{Hibernates + UCLA Research Team}},
    year = {2024},
    publisher = {HuggingFace},
    version = {1.0.0},
    architecture = {Transformer},
    parameters = {10B},
    license = {LLaMA 3.1}
}

信息表格