Internlm 7b

🚀 InternLM

InternLMは、実用シナリオに特化した70億パラメータのベースモデルをオープンソース化しています。このモデルは、大量の高品質トークンを用いて訓練され、強力な知識ベースを構築しています。また、ユーザーが柔軟に独自のワークフローを構築できる汎用的なツールセットを提供しています。

 

InternLM ^HOT

 

💻Github Repo • 🤔Reporting Issues

✨ 主な機能

InternLMは、実用シナリオに特化した70億パラメータのベースモデルをオープンソース化しています。このモデルには以下の特徴があります。

• 数兆の高品質トークンを用いて訓練され、強力な知識ベースを構築しています。
• ユーザーが柔軟に独自のワークフローを構築できる汎用的なツールセットを提供しています。

📚 ドキュメント

InternLM-7B

性能評価

我々は、オープンソースの評価ツール OpenCompass を使用して、InternLMの包括的な評価を行いました。評価は、学科能力、言語能力、知識能力、推論能力、理解能力の5つの能力次元をカバーしています。以下は一部の評価結果であり、より詳細な評価結果については OpenCompassリーダーボード をご覧ください。

• 上記の評価結果は OpenCompass 20230706 を使用して取得されたものです（一部のデータに * が付いている場合は、元の論文からのデータです）。具体的なテスト詳細については、OpenCompass で提供されている設定ファイルを参照してください。
• 評価データは OpenCompass のバージョン更新により数値が異なる場合があります。最新の評価結果は OpenCompass を参照してください。

⚠️ 重要提示

訓練過程ではモデルの安全性に十分に配慮し、モデルが倫理および法律要件に準拠したテキストを出力するように努めていますが、モデルのサイズと確率的生成パラダイムの制限により、予期しない出力が生じる可能性があります。例えば、生成された応答に偏見、差別、またはその他の有害な内容が含まれる場合があります。このような内容を拡散しないでください。有害情報の拡散による結果について、本プロジェクトは責任を負いません。

Transformersからのインポート

Transformersを使用してInternLM 7B Chatモデルをロードするには、以下のコードを使用します。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm-7b", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained("internlm/internlm-7b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
# <s> A beautiful flower box made of white rose wood. It is a perfect gift for weddings, birthdays and anniversaries.
# All the roses are from our farm Roses Flanders. Therefor you know that these flowers last much longer than those in store or online!</s>

📄 ライセンス

このコードはApache 2.0ライセンスの下で公開されています。一方、モデルの重みは学術研究に完全にオープンであり、無料で商用利用も許可されています。商用ライセンスを申請するには、申請フォーム（英語）/申請表（中国語）に記入してください。その他の質問やコラボレーションについては、internlm@pjlab.org.cn までご連絡ください。