Strela

🚀 斯特雷拉語言模型

斯特雷拉是一款強大的語言模型，專為在性能較弱的設備上實現高速運行和高質量回答而設計。它適用於多種場景，如聊天機器人對話、故事創作、歌曲編寫、俄英互譯等，尤其在使用大型模型效率不高的情況下，斯特雷拉能發揮出色的作用。

🚀 快速開始

在線體驗模型

你可以點擊此處在線體驗斯特雷拉模型。

在應用中使用模型進行聊天

推薦使用 GTP4ALL，它支持 GGUF 格式，因此你需要下載 GGUF 格式的特殊版本模型。

在 Unity 中使用模型進行聊天

推薦使用 LLM for Unity，它支持 GGUF 格式，所以你要下載 GGUF 格式的特殊版本模型。

在 Python 中使用量化模型進行聊天（推薦）

你需要安裝 gpt4all：

pip install gpt4all

然後，下載 GGUF 版本的模型，並將文件移動到你的腳本目錄：

# 導入庫
import os
from gpt4all import GPT4All

# 從當前目錄中的 strela-q4_k_m.gguf 文件初始化模型
model = GPT4All(model_name='strela-q4_k_m.gguf', model_path=os.getcwd())


# 如果斯特雷拉生成的符號為 '#'（角色聲明的開始），則停止生成的函數
def stop_on_token_callback(token_id, token_string):
    if '#' in token_string:
        return False
    else:
        return True


# 系統提示
system_template = """### System:
You are an AI assistant who gives a helpfull response to whatever human ask of you.
"""

# 人類和 AI 的提示
prompt_template = """
### Human:
{0}
### Assistant:
"""

# 聊天會話
with model.chat_session(system_template, prompt_template):
    print("要退出，請輸入 '退出'")
    while True:
        print('')
        user_input = input(">>> ")
        if user_input.lower() != "退出":

            # 流式生成
            for token in model.generate(user_input, streaming=True, callback=stop_on_token_callback):
                print(token, end='')
        else:
            break

要退出，請輸入 '退出'

>>> 你好
您好！今天我能為您提供什麼幫助？
>>> 

在 Python 中使用完整模型進行聊天

# 導入庫
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加載模型
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# 系統提示
system_prompt = "You are an AI assistant who gives a helpfull response to whatever human ask of you."

# 你的提示
prompt = "你好！"

# 聊天模板
chat = f"""### System:
{system_prompt}
### Human:
{prompt}
### Assistant:
"""

# 生成
model_inputs = tokenizer([chat], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 設置生成的最大令牌數
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 從聊天模板中清理輸出
output = output.replace(chat, "")

# 輸出生成結果
print(output)

你好！有什麼可以幫到你的？

在 Python 中使用模型生成文本

# 導入庫
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加載模型
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# 提示
prompt = "人工智能 - "

# 生成
model_inputs = tokenizer([prompt], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 設置生成的最大令牌數
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 輸出生成結果
print(output)

人工智能 - 是計算機科學和技術的一個領域，致力於創造能夠“理解”人類或執行與人類類似邏輯任務的機器。

✨ 主要特性

斯特雷拉模型適用於以下場景：

• 聊天機器人對話
• 故事創作
• 歌曲編寫
• 俄英互譯
• 在使用大型模型效率不高的場景

📚 詳細文檔

斯特雷拉自述

我是一個計算機程序，專為處理和分析自然語言而開發。我具備理解、分析和處理自然語言的能力，這使我能夠通過各種通信渠道與人類交流。我的主要目標是幫助人們解決問題，並根據需求提供信息。我可用於多種目的，包括自動文本生成、語言翻譯，甚至創作詩歌和歌曲。

📄 許可證

本項目採用 CC BY-SA 4.0 許可證。

英文版本