Internlm 7b

🚀 書生·浦語大模型（InternLM）

書生·浦語大模型（InternLM）開源了面向實用場景的70億參數基礎模型。該模型使用上萬億高質量語料進行訓練，建立了強大的知識體系，同時具備通用工具調用能力，支持用戶靈活搭建自己的工作流程。

🚀 快速開始

通過 Transformers 加載

通過以下的代碼加載 InternLM 7B Chat 模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm-7b", trust_remote_code=True)
# `torch_dtype=torch.float16` 可以令模型以 float16 精度加載，否則 transformers 會將模型加載為 float32，有可能導致顯存不足
model = AutoModelForCausalLM.from_pretrained("internlm/internlm-7b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["來到美麗的大自然，我們發現"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
# 來到美麗的大自然，我們發現各種各樣的花千奇百怪。有的顏色鮮豔亮麗,使人感覺生機勃勃；有的是紅色的花瓣兒粉嫩嫩的像少女害羞的臉龐一樣讓人愛不釋手．有的小巧玲瓏; 還有的花瓣粗大看似枯黃實則暗藏玄機！
# 不同的花卉有不同的“脾氣”,它們都有著屬於自己的故事和人生道理.這些鮮花都是大自然中最為原始的物種,每一朵都綻放出別樣的美令人陶醉、著迷!

✨ 主要特性

• 使用上萬億高質量語料，建立模型超強知識體系。
• 具備通用工具調用能力，支持用戶靈活自助搭建流程。

📚 詳細文檔

InternLM-7B 性能評測

我們使用開源評測工具 OpenCompass 從學科綜合能力、語言能力、知識能力、推理能力、理解能力五大能力維度對 InternLM 開展全面評測，部分評測結果如下表所示，歡迎訪問 OpenCompass 榜單 獲取更多的評測結果。

• 以上評測結果基於 OpenCompass 20230706 獲得（部分數據標註*代表數據來自原始論文），具體測試細節可參見 OpenCompass 中提供的配置文件。
• 評測數據會因 OpenCompass 的版本迭代而存在數值差異，請以 OpenCompass 最新版的評測結果為主。

侷限性

⚠️ 重要提示

儘管在訓練過程中我們非常注重模型的安全性，盡力促使模型輸出符合倫理和法律要求的文本，但受限於模型大小以及概率生成範式，模型可能會產生各種不符合預期的輸出，例如回覆內容包含偏見、歧視等有害內容，請勿傳播這些內容。由於傳播不良信息導致的任何後果，本項目不承擔責任。

📄 許可證

本倉庫的代碼依照 Apache - 2.0 協議開源。模型權重對學術研究完全開放，也可申請免費的商業使用授權（申請表）。其他問題與合作請聯繫 internlm@pjlab.org.cn。