Synthia 70B V1.2b
SynthIA(合成智能代理)是基于Orca风格数据集训练的LLama-2-70B模型,擅长遵循指令及进行长对话。
下载量 136
发布时间 : 9/10/2023
模型简介
该模型是Llama-2-70B的微调版本,专注于指令遵循和长对话场景,采用思维树+思维链推理方法提升回答质量。
模型特点
增强型推理能力
采用思维树+思维链推理方法,支持回溯和连贯的推理过程
长对话优化
特别优化了长对话场景下的表现能力
大规模训练数据
基于Orca风格数据集训练,数据量较前一版本显著增加
模型能力
文本生成
指令遵循
长对话处理
复杂推理
使用案例
智能对话
技术问答
回答复杂技术问题,如火箭发射原理
能生成包含技术细节的连贯解释
教育辅助
概念讲解
解释复杂学术概念
能构建清晰的思维链进行分步解释
🚀 Synthia-70B-v1.2b
SynthIA(合成智能代理)是一个基于Llama - 2 - 70B的模型,在Orca风格的数据集上进行训练。它经过微调,能够遵循指令并进行长篇对话。
🚀 快速开始
版本变更
从1.2到1.2b版本的变更:使用了更多数据,一个训练周期耗时14天。
系统提示信息
若要激发通用的思维树(Tree of Thought)和思维链(Chain of Thought)推理,可使用以下系统消息:
使用思维树详细阐述主题,并在必要时回溯,以构建清晰、连贯的思维链推理。始终毫不犹豫地给出答案。
许可证声明
本模型受原始Llama - 2模型的许可和使用限制约束,不提供任何形式的保证或担保。
局限性与偏差
尽管该模型旨在保证准确性,但偶尔可能会产生不准确或误导性的结果。尽管在优化预训练数据方面付出了努力,但仍有可能生成不适当、有偏差或冒犯性的内容。这是一个未经过审查的模型,请谨慎使用,并在必要时核实信息。
引用方式
请使用以下BibTeX进行引用:
@misc{Synthia-70B-v1.2b,
author = {Migel Tissera},
title = {Synthia-70B-v1.2b: Synthetic Intelligent Agent},
year = {2023},
publisher = {GitHub, HuggingFace},
journal = {GitHub repository, HuggingFace repository},
howpublished = {\url{https://huggingface.co/migtissera/Synthia-13B},
}
@misc{mukherjee2023orca,
title={Orca: Progressive Learning from Complex Explanation Traces of GPT-4},
author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah},
year={2023},
eprint={2306.02707},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@software{touvron2023llama,
title={LLaMA2: Open and Efficient Foundation Language Models},
author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{\'e}e and Rozi{\`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
journal={arXiv preprint arXiv:2302.13971},
year={2023}
}
✨ 主要特性
- 基于Llama - 2 - 70B模型,在Orca风格数据集上训练。
- 经过微调,具备指令遵循和长篇对话能力。
- 所有Synthia模型均未经过审查。
📦 安装指南
文档未提供安装步骤相关内容。
💻 使用示例
基础用法
以下是提示格式:
SYSTEM: 使用思维树详细阐述主题,并在必要时回溯,以构建清晰、连贯的思维链推理。始终毫不犹豫地给出答案。
USER: 火箭是如何从地球表面发射到近地轨道的?
ASSISTANT:
高级用法
以下是使用该模型的代码示例:
import torch, json
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "migtissera/Synthia-70B-v1.2b"
output_file_path = "./Synthia-70B-conversations.jsonl"
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16,
device_map="auto",
load_in_8bit=False,
trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
def generate_text(instruction):
tokens = tokenizer.encode(instruction)
tokens = torch.LongTensor(tokens).unsqueeze(0)
tokens = tokens.to("cuda")
instance = {
"input_ids": tokens,
"top_p": 1.0,
"temperature": 0.75,
"generate_len": 1024,
"top_k": 50,
}
length = len(tokens[0])
with torch.no_grad():
rest = model.generate(
input_ids=tokens,
max_length=length + instance["generate_len"],
use_cache=True,
do_sample=True,
top_p=instance["top_p"],
temperature=instance["temperature"],
top_k=instance["top_k"],
num_return_sequences=1,
)
output = rest[0][length:]
string = tokenizer.decode(output, skip_special_tokens=True)
answer = string.split("USER:")[0].strip()
return f"{answer}"
conversation = f"SYSTEM: Elaborate on the topic using a Tree of Thoughts and backtrack when necessary to construct a clear, cohesive Chain of Thought reasoning. Always answer without hesitation."
while True:
user_input = input("You: ")
llm_prompt = f"{conversation} \nUSER: {user_input} \nASSISTANT: "
answer = generate_text(llm_prompt)
print(answer)
conversation = f"{llm_prompt}{answer}"
json_data = {"prompt": user_input, "answer": answer}
## Save your conversation
with open(output_file_path, "a") as output_file:
output_file.write(json.dumps(json_data) + "\n")
📚 详细文档
评估结果
我们使用EleutherAI的语言模型评估工具包对Synthia-70B-v1.2b在广泛的任务上进行了评估。以下是HuggingFaceH4开源大语言模型排行榜所使用指标的评估结果:
任务 | 指标 | 值 |
---|---|---|
arc_challenge | acc_norm | 68.77 |
hellaswag | acc_norm | 87.57 |
mmlu | acc_norm | 68.81 |
truthfulqa_mc | mc2 | 57.69 |
总平均分 | - | 70.71 |
示例输出
You: 地球的磁场是什么样的?它是如何捕获太阳风的,太阳风对地球的引力场有什么影响?
地球的磁场是一个复杂而迷人的现象。它是由地球外核中熔融铁的运动产生的,就像一个巨大的电磁体。这个磁场延伸到太空中,形成了一个被称为磁层的保护泡。
地球磁场的主要作用是捕获和偏转太阳风,太阳风是从太阳流出的带电粒子流。磁场就像一个盾牌,偏转太阳风,保护我们的星球免受其潜在的有害影响。
当太阳风到达地球磁层时,它与磁场相互作用,产生复杂的力的相互作用。这种相互作用会导致各种现象,如极光、地磁风暴和辐射带的形成。
太阳风与地球磁场的相互作用不会直接影响地球的引力场。引力场是由地球的质量产生的力,不受磁场或太阳风的影响。然而,磁场在捕获和偏转太阳风中的带电粒子方面发挥着作用,这会增加地球空间环境的整体复杂性。
You: 是否可能存在使用等离子体进行穿越的航天器?这是一个假设性的问题,但不明飞行物(UFO)能否使用等离子体产生的某种力场,与地球的引力/磁场相互作用,以实现高超音速飞行?
虽然这是一个有趣的概念,但目前没有确凿的证据或科学共识表明存在UFO或航天器使用基于等离子体的推进系统。然而,值得注意的是,目前正在进行科学研究,探索开发包括等离子体推进在内的先进太空旅行推进系统。
等离子体是一种物质状态,其中电子从原子中剥离,形成高度带电的气体。等离子体推进系统利用电磁场加速离子,产生推力,有可能推动航天器。与传统的化学火箭相比,等离子体推进系统具有效率高、燃料需求低以及能够长时间连续运行等优点。
虽然从理论上讲,航天器可以使用等离子体进行穿越,但需要注意的是,等离子体与地球引力/磁场的相互作用是复杂的,尚未完全被理解。引力场是一种将物体吸引向地球中心的力,而磁场则会偏转带电粒子。基于等离子体的推进系统需要克服这些力,并有可能利用它们来实现推进。
综上所述,虽然使用等离子体推进进行太空旅行是一个活跃的研究领域,但目前没有科学证据支持UFO的存在或使用基于等离子体的推进系统进行高超音速飞行。
You: 请记住,科学总是在不断发展,有许多事物尚未被发明。你能写出用于太空旅行的等离子体推进的方程式吗?
很抱歉,我不是等离子体物理学或推进系统方面的专家。不过,我可以提供一些关于等离子体推进原理的概述。
等离子体推进系统通常利用电磁场来加速离子,产生推力以推动航天器。有几种不同类型的等离子体推进系统,包括静电推进、电磁推进和磁流体动力学(MHD)推进。
在静电等离子体推进系统中,向一对电极施加高电压以产生电场,加速带电粒子。产生的推力与施加的电压和电流密度成正比。推力的方程式为:
Thrust = (Current density) x (Accelerating voltage)
在电磁等离子体推进系统中,使用磁场来加速带电粒子。推力与磁场强度和电流密度的乘积成正比。推力的方程式为:
Thrust = (Magnetic field strength) x (Current density)
在磁流体动力学(MHD)等离子体推进系统中,使用磁场来偏转等离子体流,产生推力。推力与磁场强度、电流密度和流速的乘积成正比。推力的方程式为:
Thrust = (Magnetic field strength) x (Current density) x (Flow velocity)
需要注意的是,这些方程式是简化的模型,没有涵盖等离子体推进系统的全部复杂性。等离子体推进系统的实际性能取决于各种因素,包括具体设计、等离子体特性和运行条件。
此外,开发用于太空旅行的等离子体推进系统是一个活跃的研究和开发领域。虽然上述原理提供了一个总体框架,但具体的方程式和设计将取决于特定的应用和研究团队。
You: 如果航天器呈球形,并且在球体周围产生等离子体场,这个等离子体场如何产生推进所需的推力?
航天器的形状本身并不能决定等离子体推进系统产生的推力。推力主要由用于加速带电粒子的电磁场决定。
为了利用等离子体场产生推力,航天器通常会使用前面提到的等离子体推进系统之一。例如,在静电等离子体推进系统中,向一对电极施加高电压以产生电场,加速带电粒子。产生的推力与施加的电压和电流密度成正比。
在这种情况下,等离子体场是通过向电极施加高电压产生的。航天器的形状,无论是球形还是其他形状,都不会直接影响等离子体场的产生或产生的推力。
然而,航天器的形状可能会对等离子体推进系统的整体性能产生间接影响。例如,航天器的形状可能会影响等离子体流的分布,进而影响推进系统的效率。
综上所述,航天器的形状本身并不能直接决定等离子体推进系统产生的推力。推力主要由用于加速带电粒子的电磁场决定,而航天器的形状可能会对推进系统的整体性能产生间接影响。
You: 我们目前最接近等离子体推进的技术是什么?
目前有多项与太空旅行等离子体推进系统相关的研究和开发工作正在进行。目前使用的最先进的等离子体推进系统之一是霍尔推进器(Hall thruster)。
霍尔推进器是一种静电推进系统,利用电场加速带电粒子。它已经在多个太空任务中得到应用,包括深空一号(Deep Space 1)、黎明号(Dawn)和贝皮科伦坡号(BepiColombo)。与传统的化学火箭相比,霍尔推进器具有效率高、燃料需求低以及能够长时间连续运行等优点。
虽然霍尔推进器是目前使用的最先进的等离子体推进系统,但研究人员正在努力开发更先进的系统。例如,研究人员正在探索磁流体动力学(MHD)推进系统的应用,该系统利用磁场偏转等离子体流以产生推力。MHD推进系统具有比霍尔推进器更高的性能潜力,但仍处于早期开发阶段。
综上所述,霍尔推进器是目前我们最接近等离子体推进的实用技术,但正在进行的研究和开发工作正在探索更先进的系统,如MHD推进。
Follow-on: 开发和使用用于太空旅行的等离子体推进系统面临哪些挑战,研究人员如何应对这些挑战?
You: 磁流体动力学推进系统的物理方程式是什么?请尽可能详细说明。
磁流体动力学(MHD)推进系统利用磁场偏转等离子体流以产生推力。描述MHD推进系统物理原理的方程式很复杂,涉及多个变量,包括磁场强度、电流密度、流速和等离子体特性。
MHD推进系统的一个关键方程式是欧姆定律,它将电流密度与施加的电场和等离子体的电阻率联系起来。方程式如下:
J = σE
其中,J是电流密度,σ是电导率,E是施加的电场。
另一个重要的方程式是纳维 - 斯托克斯方程,它描述了等离子体的流动。方程式如下:
µ(∂v/∂t) = -∇p + ∇xF + ∇xσT + G
其中,µ是动态粘度,v是速度矢量,p是流体压力,F是体积力,σT是应力张量,G是由洛伦兹力产生的体积力。
洛伦兹力是带电粒子在磁场中受到的力。洛伦兹力的方程式如下:
F = q(E + v x B)
其中,F是力,q是粒子的电荷,E是电场,v是粒子的速度,B是磁场。
这些方程式只是描述MHD推进系统物理原理的众多方程式中的几个例子。实际的方程式和分析将取决于推进系统的具体设计和运行条件。
综上所述,MHD推进系统的方程式很复杂,涉及多个变量,包括电流密度、施加的电场、流体压力、流体速度、磁场和洛伦兹力。这些方程式用于建模和分析用于太空旅行的MHD推进系统的性能。
You: 好的。在这里能与弦理论建立联系吗?
当然可以。弦理论是物理学中的一个理论框架,旨在统一自然界的基本力,包括引力、电磁力以及强核力和弱核力。在弦理论中,物质的基本组成部分不是点状粒子,而是微小的振动弦。
在等离子体推进系统的背景下,通过磁流体动力学(MHD)的概念与弦理论建立了联系。MHD描述了导电流体(如等离子体)在磁场中的流动。描述MHD的方程式源自经典电磁学的方程式,这些方程式也用于弦理论中描述基本粒子的行为。
特别是,洛伦兹力是MHD和等离子体推进系统中的一个关键概念,也是弦理论中的一个基本概念。洛伦兹力是带电粒子与电磁场相互作用时受到的力,它在弦理论中弦的行为中起着至关重要的作用。
此外,弦理论的某些方面表明,物质的基本组成部分(包括等离子体)可能具有超越经典物理学描述的额外属性。例如,弦理论预测存在超出我们熟悉的三个空间维度的额外维度,这些额外维度可能会影响等离子体和其他物质形式的行为。
综上所述,虽然等离子体推进系统与弦理论之间没有直接联系,但通过使用经典电磁学的方程式建立了间接联系。此外,弦理论的某些方面表明,物质的基本组成部分可能具有超越经典物理学描述的额外属性。
开源大语言模型排行榜评估结果
详细结果可查看此处
属性 | 详情 |
---|---|
平均得分 | 64.63 |
ARC(25次提示) | 68.77 |
HellaSwag(10次提示) | 87.57 |
MMLU(5次提示) | 68.81 |
TruthfulQA(0次提示) | 57.69 |
Winogrande(5次提示) | 83.9 |
GSM8K(5次提示) | 35.25 |
DROP(3次提示) | 50.41 |
🔧 技术细节
文档未提供相关技术细节内容。
📄 许可证
本模型使用的许可证为:llama2。
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98