Synthia 70B V1.2b

🚀 Synthia-70B-v1.2b

SynthIA (Synthetic Intelligent Agent) は、Orca スタイルのデータセットで学習された Llama-2-70B モデルです。指示に従うことや長文の会話に対応するように微調整されています。

🚀 クイックスタート

1.2 から 1.2b への変更点：より多くのデータを使用し、1エポックにつき14日間の学習を行いました。

すべての Synthia モデルは無制限です。使用には注意し、善意を持って使用してください。あなたは Synthia の使用方法に責任があります。

一般化された Tree of Thought + Chain of Thought 推論を引き出すには、以下のシステムメッセージを使用できます。

Tree of Thoughts を使用してトピックを詳述し、必要に応じてバックトラックして、明確で首尾一貫した Chain of Thought 推論を構築してください。迷わずに常に回答してください。

ライセンス免責事項

このモデルは、元の Llama-2 モデルのライセンスと使用制限に拘束され、いかなる保証も提供されません。

✨ 主な機能

• Orca スタイルのデータセットで学習された Llama-2-70B モデル
• 指示に従うことや長文の会話に対応するように微調整

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

基本的な使用法

以下はプロンプトの形式です。

SYSTEM: Tree of Thoughts を使用してトピックを詳述し、必要に応じてバックトラックして、明確で首尾一貫した Chain of Thought 推論を構築してください。迷わずに常に回答してください。
USER: 地球の表面から低軌道地球軌道にロケットはどのように打ち上げられますか？
ASSISTANT:

以下はこのモデルの使用方法のコード例です。

import torch, json
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "migtissera/Synthia-70B-v1.2b"
output_file_path = "./Synthia-70B-conversations.jsonl"

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto",
    load_in_8bit=False,
    trust_remote_code=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)


def generate_text(instruction):
    tokens = tokenizer.encode(instruction)
    tokens = torch.LongTensor(tokens).unsqueeze(0)
    tokens = tokens.to("cuda")

    instance = {
        "input_ids": tokens,
        "top_p": 1.0,
        "temperature": 0.75,
        "generate_len": 1024,
        "top_k": 50,
    }

    length = len(tokens[0])
    with torch.no_grad():
        rest = model.generate(
            input_ids=tokens,
            max_length=length + instance["generate_len"],
            use_cache=True,
            do_sample=True,
            top_p=instance["top_p"],
            temperature=instance["temperature"],
            top_k=instance["top_k"],
            num_return_sequences=1,
        )
    output = rest[0][length:]
    string = tokenizer.decode(output, skip_special_tokens=True)
    answer = string.split("USER:")[0].strip()
    return f"{answer}"


conversation = f"SYSTEM: Tree of Thoughts を使用してトピックを詳述し、必要に応じてバックトラックして、明確で首尾一貫した Chain of Thought 推論を構築してください。迷わずに常に回答してください。"


while True:
    user_input = input("You: ")
    llm_prompt = f"{conversation} \nUSER: {user_input} \nASSISTANT: "
    answer = generate_text(llm_prompt)
    print(answer)
    conversation = f"{llm_prompt}{answer}"
    json_data = {"prompt": user_input, "answer": answer}

    ## Save your conversation
    with open(output_file_path, "a") as output_file:
        output_file.write(json.dumps(json_data) + "\n")

制限事項とバイアス

このモデルは精度を目指していますが、時々不正確または誤解を招く結果を生み出すことがあります。

事前学習データの洗練に尽力していますが、不適切、偏見、または不快な内容が生成される可能性が残っています。

必要に応じて注意し、情報を照合してください。これは無制限のモデルです。

📚 ドキュメント

評価

私たちは、EleutherAI の Language Model Evaluation Harness を使用して、幅広いタスクで Synthia-70B-v1.2b を評価しました。

以下は、HuggingFaceH4 Open LLM Leaderboard で使用されている指標の結果です。

出力例

You: 地球の磁場はどのようなものですか？どのように太陽風を捕捉し、太陽風は地球の重力場にどのような影響を与えますか？

地球の磁場は複雑で魅力的な現象です。地球の外核の溶融鉄の動きによって生成され、巨大な電磁石のように機能します。この磁場は宇宙に遠くまで広がり、磁気圏と呼ばれる保護泡を作り出します。

地球の磁場の主な目的は、太陽から流出する荷電粒子の流れである太陽風を捕捉して偏向させることです。磁場はシールドとして機能し、太陽風を偏向させ、地球をその潜在的な有害な影響から守ります。

太陽風が地球の磁気圏に到達すると、磁場と相互作用し、複雑な力の相互作用を引き起こします。この相互作用により、オーロラ、地磁気嵐、放射線帯の形成など、さまざまな現象が引き起こされる可能性があります。

太陽風と地球の磁場の相互作用は、地球の重力場に直接影響を与えません。重力場は、地球の質量によって生じる力を指し、磁場や太陽風の影響を受けません。ただし、磁場は太陽風からの荷電粒子を捕捉して偏向させる役割を果たし、地球の宇宙環境の全体的な複雑さに寄与することができます。

You: プラズマを利用して宇宙を移動する宇宙船は存在する可能性がありますか？これは仮説ですが、UFOはプラズマによって生成された力場を利用して、地球の重力/磁場と相互作用して極超音速で移動することができますか？

興味深い概念ですが、現在、UFOの存在や宇宙船でのプラズマベースの推進システムの使用を示唆する具体的な証拠や科学的なコンセンサスはありません。ただし、宇宙旅行用の高度な推進システムの開発、プラズマ推進を含む、科学的な調査や研究が進行中であることは注目に値します。

プラズマは、電子が原子から剥がれた物質の状態で、高度に荷電したガスになります。プラズマ推進システムは、電磁場を使用してイオンを加速し、宇宙船を推進する可能性のある推力を生成します。プラズマ推進システムは、従来の化学ロケットに比べて、効率が高く、燃料要件が少なく、長期間連続して動作する能力など、いくつかの利点を提供します。

理論的には、宇宙船がプラズマを利用して移動することは可能ですが、プラズマと地球の重力/磁場の相互作用は複雑で、完全には理解されていません。重力場は物体を地球の中心に引き寄せる力として作用し、磁場は荷電粒子を偏向させます。プラズマベースの推進システムは、これらの力を克服し、潜在的に推進のために利用する必要があります。

要約すると、宇宙旅行でのプラズマ推進の可能性は活発な研究分野ですが、現在、UFOの存在や極超音速旅行でのプラズマベースの推進システムの使用をサポートする科学的な証拠はありません。

You: 科学は常に進化しており、まだ発明されていないことがたくさんあることを念頭に置いてください。宇宙旅行用のプラズマベースの推進の方程式を書くことはできますか？

前の回答で混乱を招いたことをお詫びします。明確にするために、私はプラズマ物理学や推進システムの専門家ではありません。ただし、プラズマベースの推進に関与する原理の一般的な概要を提供することができます。

プラズマ推進システムは通常、電磁場を使用してイオンを加速し、宇宙船を推進する推力を生成します。静電、電磁、および電磁流体力学 (MHD) 推進を含む、いくつかの異なるタイプのプラズマ推進システムがあります。

静電プラズマ推進システムでは、一対の電極に高電圧を印加して、荷電粒子を加速する電場を作成します。結果として生じる推力は、印加電圧と電流密度に比例します。推力の方程式は次のように与えられます。

Thrust = (Current density) x (Accelerating voltage)

電磁プラズマ推進システムでは、磁場を使用して荷電粒子を加速します。推力は、磁場の強さと電流密度の積に比例します。推力の方程式は次のように与えられます。

Thrust = (Magnetic field strength) x (Current density)

MHDプラズマ推進システムでは、磁場を使用してプラズマの流れを偏向させ、推力を生成します。推力は、磁場の強さ、電流密度、および流速の積に比例します。推力の方程式は次のように与えられます。

Thrust = (Magnetic field strength) x (Current density) x (Flow velocity)

これらの方程式は簡略化されたモデルであり、プラズマ推進システムの完全な複雑さを捉えていないことに注意する必要があります。プラズマ推進システムの実際の性能は、特定の設計、プラズマの特性、および動作条件を含むさまざまな要因に依存します。

さらに、宇宙旅行用のプラズマ推進システムの開発は活発な研究開発分野です。上記の原理は一般的なフレームワークを提供しますが、特定の方程式と設計は、特定のアプリケーションと関係する研究チームに依存します。

You: 宇宙船が球体の形状をしており、球体の周りにプラズマ場が作成された場合、このプラズマ場はどのようにして必要な推力を生成して推進することができますか？

宇宙船の形状自体は、プラズマ推進システムによって生成される推力を決定しません。推力は主に、荷電粒子を加速するために使用される電磁場によって決定されます。

プラズマ場を使用して推力を生成するには、宇宙船は通常、前の回答で説明したプラズマ推進システムのいずれかを使用します。たとえば、静電プラズマ推進システムでは、一対の電極に高電圧を印加して、荷電粒子を加速する電場を作成します。結果として生じる推力は、印加電圧と電流密度に比例します。

このシナリオでは、プラズマ場は電極に高電圧を印加することによって生成されます。宇宙船の形状が球体であろうと他の形状であろうと、プラズマ場の生成や結果として生じる推力に直接影響を与えることはありません。

ただし、宇宙船の形状は、プラズマ推進システムの全体的な性能に間接的な影響を与える可能性があります。たとえば、宇宙船の形状はプラズマの流れの分布に影響を与え、それが推進システムの効率に影響を与える可能性があります。

要約すると、宇宙船の形状自体は、プラズマ推進システムによって生成される推力を直接決定するものではありません。推力は主に、荷電粒子を加速するために使用される電磁場によって決定され、宇宙船の形状はプラズマ推進システムの全体的な性能に間接的な影響を与える可能性があります。

You: プラズマ推進に最も近い技術は何ですか？

宇宙旅行用のプラズマ推進システムに関連するいくつかの研究開発取り組みが進行中です。現在使用されている最も高度なプラズマ推進システムの1つは、ホールスラスターです。

ホールスラスターは、電場を使用して荷電粒子を加速する静電推進システムの一種です。Deep Space 1、Dawn、BepiColombo などのいくつかの宇宙ミッションで使用されています。ホールスラスターは、従来の化学ロケットに比べて、効率が高く、燃料要件が少なく、長期間連続して動作する能力など、いくつかの利点を提供します。

ホールスラスターは現在使用されている最も高度なプラズマ推進システムですが、さらに高度なシステムの開発に向けた取り組みが進行中です。たとえば、研究者は、磁場を使用してプラズマの流れを偏向させて推力を生成する電磁流体力学 (MHD) 推進システムの使用を探索しています。MHD推進システムは、ホールスラスターよりもさらに高い性能を実現する可能性を提供しますが、まだ開発の初期段階にあります。

要約すると、

📄 ライセンス

このモデルは Llama2 ライセンスの下で提供されています。

引用

以下の BibTeX を使用して引用してください。

@misc{Synthia-70B-v1.2b,
  author = {Migel Tissera},
  title = {Synthia-70B-v1.2b: Synthetic Intelligent Agent},
  year = {2023},
  publisher = {GitHub, HuggingFace},
  journal = {GitHub repository, HuggingFace repository},
  howpublished = {\url{https://huggingface.co/migtissera/Synthia-13B},
}

@misc{mukherjee2023orca,
      title={Orca: Progressive Learning from Complex Explanation Traces of GPT-4}, 
      author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah},
      year={2023},
      eprint={2306.02707},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@software{touvron2023llama,
  title={LLaMA2: Open and Efficient Foundation Language Models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{\'e}e and Rozi{\`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}