# 増分事前学習最適化

InternViT-300M-448px-V2_5はInternViT-300M-448pxの大幅なアップグレード版で、ViTの増分学習とNTP損失により視覚的特徴抽出能力が向上し、特に多言語OCRデータや数学的図表などの複雑なシーンに優れています。

コモド-7BはLlama-2-7Bを基に増分事前学習と語彙拡張によって開発された大規模言語モデルで、インドネシア語、英語及び11種類のインドネシア地域言語をサポートします。

Chinese-LLaMA-2-7B-16KはMetaが公開したLlama-2を基に開発された中国語大規模モデルで、16Kの文脈長をサポートし、推論と全パラメータ学習に適しています。