InternLM-7Bオープンソースモデル - 大量のコーパスに基づいて知識体系を構築し、ワークフローの柔軟なカスタマイズをサポート

ホーム

Internlm 7b

internlmによって開発

書生・浦語は実用シーン向けに70億パラメータの基盤モデルをオープンソース化し、兆単位の高品質コーパスで訓練され、強力な知識体系を構築し、多様なツールセットを提供してユーザーが柔軟にワークフローをカスタマイズできるようにサポートします。

大規模言語モデル

Transformers

#70億パラメータ大規模モデル #中国語知識強化 #多能力評価リーダー

ダウンロード数 925

リリース時間 : 7/6/2023

モデル概要

InternLM-7Bは70億パラメータ規模の大規模言語モデルで、実用シーンアプリケーションに焦点を当て、強力な知識体系と柔軟なカスタマイズ能力を備えています。

モデル特徴

大規模高品質訓練

兆単位の高品質コーパスで訓練され、強力な知識体系を構築

柔軟なカスタマイズ

多様なツールセットを提供し、ユーザーが柔軟にワークフローをカスタマイズできるようにサポート

包括的評価

OpenCompassを通じて5つの次元で包括的に評価され、優れた性能を発揮

モデル能力

テキスト生成

知識質問応答

言語理解

論理的推論

使用事例

教育

学問知識質問応答

様々な学問知識の質問に回答

C-Eval検証セットで53.4点を達成

研究

学術研究支援

研究者が文献レビューや知識整理を行うのを支援

商業応用

インテリジェントカスタマーサービス

インテリジェントカスタマーサービスシステムの構築に使用

🚀 InternLM

InternLMは、実用シナリオに特化した70億パラメータのベースモデルをオープンソース化しています。このモデルは、大量の高品質トークンを用いて訓練され、強力な知識ベースを構築しています。また、ユーザーが柔軟に独自のワークフローを構築できる汎用的なツールセットを提供しています。

InternLM ^HOT

💻Github Repo • 🤔Reporting Issues

✨ 主な機能

InternLMは、実用シナリオに特化した70億パラメータのベースモデルをオープンソース化しています。このモデルには以下の特徴があります。

数兆の高品質トークンを用いて訓練され、強力な知識ベースを構築しています。
ユーザーが柔軟に独自のワークフローを構築できる汎用的なツールセットを提供しています。

📚 ドキュメント

InternLM-7B

性能評価

我々は、オープンソースの評価ツール OpenCompass を使用して、InternLMの包括的な評価を行いました。評価は、学科能力、言語能力、知識能力、推論能力、理解能力の5つの能力次元をカバーしています。以下は一部の評価結果であり、より詳細な評価結果については OpenCompassリーダーボードをご覧ください。

データセット/モデル	InternLM-Chat-7B	InternLM-7B	LLaMA-7B	Baichuan-7B	ChatGLM2-6B	Alpaca-7B	Vicuna-7B
C-Eval(Val)	53.2	53.4	24.2	42.7	50.9	28.9	31.2
MMLU	50.8	51.0	35.2*	41.5	46.0	39.7	47.3
AGIEval	42.5	37.6	20.8	24.6	39.0	24.1	26.4
CommonSenseQA	75.2	59.5	65.0	58.8	60.0	68.7	66.7
BUSTM	74.3	50.6	48.5	51.3	55.0	48.8	62.5
CLUEWSC	78.6	59.1	50.3	52.8	59.8	50.3	52.2
MATH	6.4	7.1	2.8	3.0	6.6	2.2	2.8
GSM8K	34.5	31.2	10.1	9.7	29.2	6.0	15.3
HumanEval	14.0	10.4	14.0	9.2	9.2	9.2	11.0
RACE(High)	76.3	57.4	46.9*	28.1	66.3	40.7	54.0

上記の評価結果は OpenCompass 20230706 を使用して取得されたものです（一部のデータに * が付いている場合は、元の論文からのデータです）。具体的なテスト詳細については、OpenCompass で提供されている設定ファイルを参照してください。
評価データは OpenCompass のバージョン更新により数値が異なる場合があります。最新の評価結果は OpenCompass を参照してください。

⚠️ 重要提示

訓練過程ではモデルの安全性に十分に配慮し、モデルが倫理および法律要件に準拠したテキストを出力するように努めていますが、モデルのサイズと確率的生成パラダイムの制限により、予期しない出力が生じる可能性があります。例えば、生成された応答に偏見、差別、またはその他の有害な内容が含まれる場合があります。このような内容を拡散しないでください。有害情報の拡散による結果について、本プロジェクトは責任を負いません。

Transformersからのインポート

Transformersを使用してInternLM 7B Chatモデルをロードするには、以下のコードを使用します。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm-7b", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained("internlm/internlm-7b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
# <s> A beautiful flower box made of white rose wood. It is a perfect gift for weddings, birthdays and anniversaries.
# All the roses are from our farm Roses Flanders. Therefor you know that these flowers last much longer than those in store or online!</s>

📄 ライセンス

このコードはApache 2.0ライセンスの下で公開されています。一方、モデルの重みは学術研究に完全にオープンであり、無料で商用利用も許可されています。商用ライセンスを申請するには、申請フォーム（英語）/申請表（中国語）に記入してください。その他の質問やコラボレーションについては、internlm@pjlab.org.cn までご連絡ください。