Strela

🚀 斯特雷拉语言模型

斯特雷拉是一款强大的语言模型，专为在性能较弱的设备上实现高速运行和高质量回答而设计。它适用于多种场景，如聊天机器人对话、故事创作、歌曲编写、俄英互译等，尤其在使用大型模型效率不高的情况下，斯特雷拉能发挥出色的作用。

🚀 快速开始

在线体验模型

你可以点击此处在线体验斯特雷拉模型。

在应用中使用模型进行聊天

推荐使用 GTP4ALL，它支持 GGUF 格式，因此你需要下载 GGUF 格式的特殊版本模型。

在 Unity 中使用模型进行聊天

推荐使用 LLM for Unity，它支持 GGUF 格式，所以你要下载 GGUF 格式的特殊版本模型。

在 Python 中使用量化模型进行聊天（推荐）

你需要安装 gpt4all：

pip install gpt4all

然后，下载 GGUF 版本的模型，并将文件移动到你的脚本目录：

# 导入库
import os
from gpt4all import GPT4All

# 从当前目录中的 strela-q4_k_m.gguf 文件初始化模型
model = GPT4All(model_name='strela-q4_k_m.gguf', model_path=os.getcwd())


# 如果斯特雷拉生成的符号为 '#'（角色声明的开始），则停止生成的函数
def stop_on_token_callback(token_id, token_string):
    if '#' in token_string:
        return False
    else:
        return True


# 系统提示
system_template = """### System:
You are an AI assistant who gives a helpfull response to whatever human ask of you.
"""

# 人类和 AI 的提示
prompt_template = """
### Human:
{0}
### Assistant:
"""

# 聊天会话
with model.chat_session(system_template, prompt_template):
    print("要退出，请输入 '退出'")
    while True:
        print('')
        user_input = input(">>> ")
        if user_input.lower() != "退出":

            # 流式生成
            for token in model.generate(user_input, streaming=True, callback=stop_on_token_callback):
                print(token, end='')
        else:
            break

要退出，请输入 '退出'

>>> 你好
您好！今天我能为您提供什么帮助？
>>> 

在 Python 中使用完整模型进行聊天

# 导入库
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# 系统提示
system_prompt = "You are an AI assistant who gives a helpfull response to whatever human ask of you."

# 你的提示
prompt = "你好！"

# 聊天模板
chat = f"""### System:
{system_prompt}
### Human:
{prompt}
### Assistant:
"""

# 生成
model_inputs = tokenizer([chat], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 设置生成的最大令牌数
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 从聊天模板中清理输出
output = output.replace(chat, "")

# 输出生成结果
print(output)

你好！有什么可以帮到你的？

在 Python 中使用模型生成文本

# 导入库
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# 提示
prompt = "人工智能 - "

# 生成
model_inputs = tokenizer([prompt], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 设置生成的最大令牌数
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 输出生成结果
print(output)

人工智能 - 是计算机科学和技术的一个领域，致力于创造能够“理解”人类或执行与人类类似逻辑任务的机器。

✨ 主要特性

斯特雷拉模型适用于以下场景：

• 聊天机器人对话
• 故事创作
• 歌曲编写
• 俄英互译
• 在使用大型模型效率不高的场景

📚 详细文档

斯特雷拉自述

我是一个计算机程序，专为处理和分析自然语言而开发。我具备理解、分析和处理自然语言的能力，这使我能够通过各种通信渠道与人类交流。我的主要目标是帮助人们解决问题，并根据需求提供信息。我可用于多种目的，包括自动文本生成、语言翻译，甚至创作诗歌和歌曲。

📄 许可证

本项目采用 CC BY-SA 4.0 许可证。

英文版本