Internlm 20b

🚀 📖書生·浦語（InternLM-20B）

書生·浦語（InternLM-20B）是由上海人工智能實驗室聯合商湯科技、香港中文大學和復旦大學推出的大語言模型。它在超 2.3T Tokens 的高質量多語言和代碼數據上預訓練，Chat 版還經 SFT 和 RLHF 訓練，能更好滿足用戶需求。

🚀 快速開始

通過 Transformers 加載

通過以下的代碼加載 InternLM 20B 模型

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm-20b", trust_remote_code=True)
# `torch_dtype=torch.bfloat16` 可以令模型以 bfloat16 精度加載，否則 transformers 會將模型加載為 float32，導致顯存不足
model = AutoModelForCausalLM.from_pretrained("internlm/internlm-20b", torch_dtype=torch.bfloat16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["來到美麗的大自然，我們發現"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.05}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
# 來到美麗的大自然，我們發現，這裡不僅有大大小小的山川河流和樹木花草，而且還有很多飛鳥走獸。我們最熟悉的就是鳥類了，它們有的在天上飛翔，有的在地上跳躍，還有的在樹上棲息……

✨ 主要特性

• 優異的綜合性能：在理解、推理、數學、編程等考驗語言模型技術水平的方面都得到了顯著提升。
• 很強的工具調用功能：具備強大的工具調用能力，能更好地輔助用戶完成各種任務。
• 支持 16k 語境長度（通過推理時外推）：能夠處理更長的文本輸入，更好地理解上下文信息。
• 更好的價值對齊：生成的文本更符合倫理和法律要求，減少有害內容的輸出。

📊 性能評估

5 大能力維度評估

在 OpenCompass 提出的 5 個能力維度上，InternLM-20B 都取得很好的效果（粗體為 13B - 33B 這個量級範圍內，各項最佳成績）

經典數據集評測

下表展示了在多個經典數據集上 InternLM 20B 與各個主流開源模型的表現

總體而言，InternLM - 20B 在綜合能力上全面領先於 13B 量級的開源模型，同時在推理評測集上能夠接近甚至超越 Llama - 65B 的性能。

📄 許可證

本倉庫的代碼依照 Apache - 2.0 協議開源。模型權重對學術研究完全開放，也可申請免費的商業使用授權（申請表）。其他問題與合作請聯繫 internlm@pjlab.org.cn。

⚠️ 重要提示

儘管在訓練過程中我們非常注重模型的安全性，盡力促使模型輸出符合倫理和法律要求的文本，但受限於模型大小以及概率生成範式，模型可能會產生各種不符合預期的輸出，例如回覆內容包含偏見、歧視等有害內容，請勿傳播這些內容。由於傳播不良信息導致的任何後果，本項目不承擔責任。