Danskgpt Tiny

🚀 丹麥語GPT - 輕量版

丹麥語GPT - 輕量版（DanskGPT - tiny）是一個基於LLaMA架構、擁有11億參數的大語言模型。該模型的訓練是在 TinyLLaMA 的基礎上繼續進行的。它在80億丹麥語合成文本標記上進行了訓練。此模型屬於所謂的“基礎/完成”模型，因此並非設計用於對話交流。

🚀 快速開始

推理

可以使用 vLLM 進行推理，安裝命令如下：

pip install vllm

以下是使用該模型進行推理的代碼示例：

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
llm = LLM(model="mhenrichsen/danskgpt-tiny")

while True:
    prompt = input("Skriv: ")
    outputs = llm.generate(prompt, sampling_params)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

💻 使用示例

基礎用法

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
llm = LLM(model="mhenrichsen/danskgpt-tiny")

while True:
    prompt = input("Skriv: ")
    outputs = llm.generate(prompt, sampling_params)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

📄 許可證

本項目採用 Apache - 2.0 許可證。

尋求幫助

如果你對大語言模型或基於文本的任務自動化有疑問或需要幫助，請隨時聯繫我。

/Mads