Cotype Nano

🚀 Cotype-Nanoü§ñ

Cotype-Nanoは、限られたリソースでタスクを実行するように設計された軽量の大規模言語モデル（LLM）です。リソースが制限された条件下でも高性能を発揮し、ユーザーとの高速かつ効率的な対話が可能です。

🚀 クイックスタート

💻 使用例

基本的な使用法

vLLMを使用した推論

python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano --port 8000

推奨生成パラメータとシステムプロンプト

import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano'
openai.api_base = endpoint

# Possible system prompt:
# {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.4, # 0.0 is also allowed
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.8, # 0.1 is also allowed
    messages=[
          {"role": "user", "content": "–ö–∞–∫ –º–Ω–µ –æ–±—É—á–∏—Ç—å –º–æ–¥–µ–ª—å meta-llama/Llama-3.2-1B —Å –ø–æ–º–æ—â—å—é –±–∏–±–ª–∏–æ—Ç–µ–∫–∏ transformers?"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)

Huggingfaceを使用した推論

from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "–†–∞—Å—Å–∫–∞–∂–∏ –º–Ω–µ –ø—Ä–æ –ò–ò"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][-1]['content'])

リクエスト例

リクエスト: –ù–∞–ø–∏—à–∏ –ø—Ä–æ—Å—Ç–æ–π —Å–µ—Ä–≤–µ—Ä –Ω–∞ —Ñ–∞—Å—Ç–∞–ø–∏

Cotype-Nanoの応答:

–§–∞—Å—Ç–∞–ø–∏ (FastAPI) は、Pythonで書かれた高速なWebフレームワークです。これは、APIの開発に最適化されており、高いパフォーマンスと使いやすさを兼ね備えています。以下は、FastAPIを使用してAPIを作成する手順です。

手順1: FastAPIとUvicornのインストール

pip install fastapi uvicorn

手順2: FastAPIアプリケーションの作成

from fastapi import FastAPI

app = FastAPI()

手順3: エンドポイントの定義

@app.get("/")
async def read_root():
    return {"message": "Hello, FastAPI!"}

手順4: アプリケーションの起動

uvicorn main:app --reload

ここで、main はPythonファイルの名前で、app はFastAPIアプリケーションのインスタンスです。--reload オプションを使用すると、コードの変更が自動的に反映されます。

アプリケーションが起動すると、http://127.0.0.1:8000 にアクセスすることで、APIにアクセスできます。以下は、APIに対するGETリクエストの例です。

{
    "message": "Hello, FastAPI!"
}

🔧 技術詳細

学習プロセス

このモデルは2段階で学習されました。最初の段階では、MLP層が数学とコードに関するデータで学習されました。2段階目では、モデル全体が内部およびオープンな合成命令データセットで学習されました。

ru-llm-arena: 30.2 (ローカル測定)

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。詳細については、こちらを参照してください。