Cotype Nano

🚀 Cotype-Nano

Cotype-Nano 是一款輕量級大語言模型（LLM），專為在資源有限的情況下高效執行任務而設計。它經過優化，能夠與用戶進行快速有效的交互，即使在資源受限的條件下也能提供出色的性能。

🚀 快速開始

使用 vLLM 進行推理

python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano --port 8000

推薦的生成參數和系統提示

import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano'
openai.api_base = endpoint

# 可能的系統提示:
# {"role": "system", "content": "這是一個基於 FastAPI 的服務。請確保你的輸入符合以下格式：在一個特定的上下文中，提出一個明確的問題或請求。"},

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.4, # 也允許 0.0
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.8, # 也允許 0.1
    messages=[
          {"role": "user", "content": "如何使用 transformers 庫調用 meta-llama/Llama-3.2-1B 模型？"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)

使用 Huggingface 進行推理

from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano", device="cuda")

messages = [
  {"role": "system", "content": "這是一個基於 FastAPI 的服務。請確保你的輸入符合以下格式：在一個特定的上下文中，提出一個明確的問題或請求。"},
  {"role": "user", "content": "請提供一個簡單的示例"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][-1]['content'])

💻 使用示例

基礎用法

# 使用 vLLM 進行推理
python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano --port 8000

高級用法

# 配置生成參數和系統提示進行推理
import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano'
openai.api_base = endpoint

# 可能的系統提示:
# {"role": "system", "content": "這是一個基於 FastAPI 的服務。請確保你的輸入符合以下格式：在一個特定的上下文中，提出一個明確的問題或請求。"},

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.4, # 也允許 0.0
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.8, # 也允許 0.1
    messages=[
          {"role": "user", "content": "如何使用 transformers 庫調用 meta-llama/Llama-3.2-1B 模型？"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)

示例請求

請求：創建一個基於 FastAPI 的服務

Cotype-Nano 響應：

FastAPI 是一個用於構建 API 的現代、快速（高性能）的 Python 框架，它基於標準的 Python 類型提示，使用類型提示來驗證、序列化和反序列化數據。以下是創建一個簡單的 FastAPI 服務的步驟：

步驟 1：安裝 FastAPI 和 Uvicorn

pip install fastapi uvicorn

步驟 2：創建 FastAPI 應用

from fastapi import FastAPI

app = FastAPI()

步驟 3：定義 API 端點

@app.get("/")
async def read_root():
    return {"message": "Hello, FastAPI!"}

步驟 4：運行應用

uvicorn main:app --reload

這裡的 main 是 Python 文件名，app 是 FastAPI 應用實例。--reload 參數用於在代碼更改時自動重啟服務器。

啟動服務器後，你可以在瀏覽器中訪問 http://127.0.0.1:8000 來查看 API 的響應：

{
    "message": "Hello, FastAPI!"
}

如果你需要定義更多的 API 端點，可以根據需要添加更多的路由和處理函數。

訓練過程

該模型的訓練分為兩個階段。在第一階段，多層感知器（MLP）層在數學和代碼數據上進行訓練。在第二階段，整個模型在內部和開放的合成指令數據集上進行訓練。

ru-llm-arena 評測結果：30.2（本地測量）

📄 許可證

本項目採用 Apache 2.0 許可證，詳情請見 許可證文件。