Internlm 20b

🚀 📖书生·浦语（InternLM-20B）

书生·浦语（InternLM-20B）是由上海人工智能实验室联合商汤科技、香港中文大学和复旦大学推出的大语言模型。它在超 2.3T Tokens 的高质量多语言和代码数据上预训练，Chat 版还经 SFT 和 RLHF 训练，能更好满足用户需求。

🚀 快速开始

通过 Transformers 加载

通过以下的代码加载 InternLM 20B 模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm-20b", trust_remote_code=True)
# `torch_dtype=torch.bfloat16` 可以令模型以 bfloat16 精度加载，否则 transformers 会将模型加载为 float32，导致显存不足
model = AutoModelForCausalLM.from_pretrained("internlm/internlm-20b", torch_dtype=torch.bfloat16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["来到美丽的大自然，我们发现"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.05}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
# 来到美丽的大自然，我们发现，这里不仅有大大小小的山川河流和树木花草，而且还有很多飞鸟走兽。我们最熟悉的就是鸟类了，它们有的在天上飞翔，有的在地上跳跃，还有的在树上栖息……

✨ 主要特性

• 优异的综合性能：在理解、推理、数学、编程等考验语言模型技术水平的方面都得到了显著提升。
• 很强的工具调用功能：具备强大的工具调用能力，能更好地辅助用户完成各种任务。
• 支持 16k 语境长度（通过推理时外推）：能够处理更长的文本输入，更好地理解上下文信息。
• 更好的价值对齐：生成的文本更符合伦理和法律要求，减少有害内容的输出。

📊 性能评估

5 大能力维度评估

在 OpenCompass 提出的 5 个能力维度上，InternLM-20B 都取得很好的效果（粗体为 13B - 33B 这个量级范围内，各项最佳成绩）

经典数据集评测

下表展示了在多个经典数据集上 InternLM 20B 与各个主流开源模型的表现

总体而言，InternLM - 20B 在综合能力上全面领先于 13B 量级的开源模型，同时在推理评测集上能够接近甚至超越 Llama - 65B 的性能。

📄 许可证

本仓库的代码依照 Apache - 2.0 协议开源。模型权重对学术研究完全开放，也可申请免费的商业使用授权（申请表）。其他问题与合作请联系 internlm@pjlab.org.cn。

⚠️ 重要提示

尽管在训练过程中我们非常注重模型的安全性，尽力促使模型输出符合伦理和法律要求的文本，但受限于模型大小以及概率生成范式，模型可能会产生各种不符合预期的输出，例如回复内容包含偏见、歧视等有害内容，请勿传播这些内容。由于传播不良信息导致的任何后果，本项目不承担责任。