Danskgpt Tiny

🚀 DanskGPT-tiny

DanskGPT-tinyは、11億のパラメータを持つLLaMAベースの大規模言語モデル（LLM）です。このモデルの学習は、TinyLLaMA の学習を引き続き行ったものです。モデルは、80億のデンマーク語の合成テキストトークンで学習されています。このモデルはいわゆる「foundation/completion」モデルであり、チャット用途を想定したものではありません。

🚀 クイックスタート

DanskGPT-tinyを使用するための基本的な手順を説明します。

✨ 主な機能

• 11億のパラメータを持つLLaMAベースのLLM。
• 80億のデンマーク語の合成テキストトークンで学習。
• 「foundation/completion」モデルとして機能。

📦 インストール

vLLMを使用して推論を行うためには、まずvLLMをインストールする必要があります。以下のコマンドを実行してください。

pip install vllm

💻 使用例

基本的な使用法

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
llm = LLM(model="mhenrichsen/danskgpt-tiny")

while True:
    prompt = input("Skriv: ")
    outputs = llm.generate(prompt, sampling_params)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。