Strela

🚀 ストレラ (Strela)

ストレラは、低性能デバイスでも高速かつ質の高い応答を提供するために開発された強力な言語モデルです。

🚀 クイックスタート

ストレラは、以下の目的に使用することをおすすめします。

• チャットボット
• 物語の執筆
• 歌詞の作成
• 英語とロシア語の翻訳
• より重いモデルを使用するのが非効率的な場合

📚 ドキュメント

ストレラ自身による説明

私は自然言語の処理と分析のために開発されたコンピュータプログラムです。自然言語を理解、分析、処理する能力を持ち、様々なコミュニケーションチャネルを通じて人とコミュニケーションすることができます。私の主な目的は、人々が問題を解決するのを支援し、リクエストに基づいて情報を提供することです。私は、自動テキスト生成、言語間の翻訳、詩や歌の作成など、様々な目的に使用することができます。

モデルのオンラインでの使用

こちらでモデルを試すことができます。

アプリケーションでのチャット用モデルの使用

GTP4ALLをおすすめします。これはGGUFをサポートしているため、GGUF形式の特別なバージョンのモデルをダウンロードする必要があります。

Unityでのチャット用モデルの使用

LLM for Unityをおすすめします。これはGGUFをサポートしているため、GGUF形式の特別なバージョンのモデルをダウンロードする必要があります。

💻 使用例

基本的な使用法

# インストール
pip install gpt4all

# インポート
import os
from gpt4all import GPT4All

# モデルの初期化
model = GPT4All(model_name='strela-q4_k_m.gguf', model_path=os.getcwd())


# トークン生成を停止するコールバック関数
def stop_on_token_callback(token_id, token_string):
    if '#' in token_string:
        return False
    else:
        return True


# システムプロンプト
system_template = """### System:
You are an AI assistant who gives a helpfull response to whatever human ask of you.
"""

# ユーザーとAIのプロンプト
prompt_template = """
### Human:
{0}
### Assistant:
"""

# チャットセッション
with model.chat_session(system_template, prompt_template):
    print("終了するには、'Выход' と入力してください。")
    while True:
        print('')
        user_input = input(">>> ")
        if user_input.lower() != "выход":

            # ストリーミング生成
            for token in model.generate(user_input, streaming=True, callback=stop_on_token_callback):
                print(token, end='')
        else:
            break

終了するには、'Выход' と入力してください。

>>> こんにちは
こんにちは！今日は何をお手伝いできますか？
>>> 

高度な使用法

Pythonでの完全なモデルを使用したチャット

# インポート
from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルのロード
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# システムプロンプト
system_prompt = "You are an AI assistant who gives a helpfull response to whatever human ask of you."

# あなたのプロンプト
prompt = "こんにちは！"

# チャットテンプレート
chat = f"""### System:
{system_prompt}
### Human:
{prompt}
### Assistant:
"""

# 生成
model_inputs = tokenizer([chat], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 生成する最大トークン数を設定
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# チャットテンプレートから出力をクリーンアップ
output = output.replace(chat, "")

# 生成結果の出力
print(output)

こんにちは！何をお手伝いできますか？

Pythonでのテキスト生成用モデルの使用

# インポート
from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルのロード
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# プロンプト
prompt = "AI - "

# 生成
model_inputs = tokenizer([prompt], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 生成する最大トークン数を設定
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 生成結果の出力
print(output)

AI - これは、人間を「理解」することができる機械の作成、または人間と同様の論理でタスクを実行することができる機械の作成を扱うコンピュータサイエンスと技術の分野です。

📄 ライセンス

このモデルはCC BY-SA 4.0ライセンスの下で提供されています。