Mobilellm 1.5B

🚀 MobileLLM

MobileLLMは、オンデバイスでの使用ケース向けに最適化された言語モデルです。制約のあるリソース環境でも高性能を発揮し、ゼロショット常識推論タスクで優れた精度を達成します。

🚀 クイックスタート

このセクションでは、原READMEにクイックスタートに関する具体的な内容がないため、省略されています。

✨ 主な機能

• MobileLLMは、最適化されたトランスフォーマーアーキテクチャを活用した自己回帰型言語モデルです。
• いくつかの重要な技術を統合しています。具体的には、(1) SwiGLU活性化関数、(2) 深くて細いアーキテクチャ、(3) 埋め込み共有、(4) グループ化クエリアテンションです。
• MobileLLM-125M/350Mは、ゼロショット常識推論タスクで、以前の125M/350MのSoTAモデルに比べてそれぞれ2.7%/4.3%の精度向上を達成しました。
• 更新バージョンでは、設計理念がより大規模なモデルにも効果的に拡張できることを示し、MobileLLM-600M/1B/1.5BでSoTAの結果を得ています。

📦 インストール

このセクションでは、原READMEにインストール手順に関する具体的な内容がないため、省略されています。

💻 使用例

このセクションでは、原READMEに使用例に関する具体的なコードがないため、省略されています。

📚 ドキュメント

モデルの詳細

MobileLLMは、論文 "MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases" で紹介され、2024年のICMLで発表されました。

モデル開発者: Meta

モデルアーキテクチャ: MobileLLMは、最適化されたトランスフォーマーアーキテクチャを活用した自己回帰型言語モデルで、制約のあるリソースを持つオンデバイスアプリケーション向けに特別に設計されています。

ライセンス

FAIR非商用研究ライセンス

最終更新日: 2025年4月17日

「許容使用ポリシー」とは、本契約に組み込まれた、研究資料に適用されるFAIR許容使用ポリシーを意味します。

「契約」とは、本書に定める研究資料の使用、複製、配布、および改変に関する条件を意味します。

「ドキュメント」とは、Metaが配布する研究資料に付随する仕様書、マニュアル、およびドキュメントを意味します。

「ライセンシー」または「あなた」とは、あなた、またはあなたの雇用主、またはあなたがその者または団体のために本契約に入る場合の他の任意の個人または団体を意味し、適用される法律、規則、または規制に基づいて法的同意を与えるために必要な年齢であり、あなたが彼らのために本契約に入る場合にあなたの雇用主またはその他の個人または団体を拘束する法的権限を有する者を意味します。

「Meta」または「私たち」とは、あなたが欧州経済地域（EEA）またはスイスに所在する場合、またはあなたが団体である場合にはあなたの主たる事業場がEEAまたはスイスにある場合にはMeta Platforms Ireland Limitedを意味し、あなたがEEAまたはスイスの外に所在する場合にはMeta Platforms, Inc.を意味します。

「非商用研究用途」とは、研究、開発、教育、処理、または分析に関連する非商用研究ユースケースを意味し、それぞれの場合において、主としてあなたまたは他者に商業的利益または金銭的報酬をもたらすことを目的としないものを意味します。

「研究資料」とは、総称して、ドキュメント、およびMetaによって配布され、本契約の下で利用可能となるモデル、ソフトウェア、アルゴリズム（機械学習モデルコード、学習済みモデルの重み、推論可能なコード、学習可能なコード、微調整可能なコード、デモンストレーション資料、およびその他の要素を含む）を意味します。

以下の「同意する」をクリックするか、または研究資料のいずれかの部分または要素を使用または配布することにより、あなたは本契約に拘束されることに同意するものとします。

1. ライセンス権限と再配布

a. 権限の付与。あなたには、研究資料に含まれるMetaの知的財産またはMetaが所有するその他の権利の下で、研究資料を使用、複製、配布、コピー、派生作品を作成、および改変するための非排他的、世界規模の、譲渡不可かつ無料の限定的ライセンスが付与されます。

b. 再配布と使用

i. あなたは、研究資料または研究資料のいずれかの出力または結果を、非商用研究用途以外の商業的用途またはその他の用途に使用しないものとします。

ii. 研究資料およびその派生作品の配布は、本契約の条件に従うものとします。あなたが研究資料またはその派生作品を第三者に配布または提供する場合、あなたは本契約の条件の下でのみ行うことができます。あなたはまた、本契約のコピーを当該第三者に提供するものとします。

iii. あなたが研究資料を使用して行った研究の結果を公開する場合、あなたは公開物の中で研究資料の使用を明記する必要があります。

iv. あなたの研究資料の使用は、適用される法律および規制（貿易管理法を含む）に準拠し、FAIR許容使用ポリシーに従うものとします。このポリシーは、ここに参照により本契約に組み込まれます。

2. ユーザーサポート。あなたの研究資料の非商用研究用途は、あなた自身の裁量で行われます。Metaは、当該使用に関連していかなる情報も処理せず、いかなるサービスも提供しません。Metaは、研究資料に関するいかなるサポートサービスも提供する義務を負いません。提供されるサポートは、「現状のまま」、「すべての欠陥を含めて」提供され、いかなる種類の保証も伴いません。

3. 保証の否認。適用される法律により要求されない限り、研究資料およびそのいかなる出力または結果も、「現状のまま」提供され、いかなる種類の保証も伴いません。Metaは、明示的および黙示的を問わず、いかなる種類の保証も否認します。これには、所有権、非侵害、商品性、または特定の目的への適合性に関する保証も含まれます。あなたは、研究資料を使用または再配布する適切性を独自に判断する責任を負い、研究資料の使用およびそのいかなる出力または結果に関連するすべてのリスクを負います。

4. 責任の制限。いかなる場合も、Metaまたはその関連会社は、本契約に起因する契約、不法行為、過失、製品責任、またはその他の理論に基づく責任に関して、いかなる利益損失、または直接的もしくは間接的、特別、結果的、偶発的、模範的、または懲罰的損害についても責任を負いません。たとえMetaまたはその関連会社が当該損害の可能性について通知されていたとしても同様です。

5. 知的財産

a. MetaによるまたはMetaのために作成された研究資料および派生作品に関するMetaの所有権に従い、あなたが作成した研究資料の派生作品および改変に関して、あなたとMetaの間で、あなたは当該派生作品および改変の所有者であり、将来も所有者となります。

b. あなたがMetaまたはいかなる団体に対して、研究資料、出力または結果、またはそれらのいずれかの部分が、あなたが所有またはライセンスすることができる知的財産またはその他の権利の侵害を構成すると主張する訴訟またはその他の手続きを起こす場合、本契約の下であなたに付与されたいかなるライセンスも、当該訴訟または請求が提起された日から終了するものとします。あなたは、研究資料の使用または配布に起因するまたは関連するいかなる第三者による請求からMetaを補償し、免責するものとします。

6. 契約期間と終了。本契約の期間は、あなたが本契約を受諾した時点または研究資料にアクセスした時点から開始し、本書の条件に従って終了するまで有効です。あなたが本契約のいずれかの条件に違反した場合、Metaは本契約を終了することができます。本契約が終了した場合、あなたは研究資料を削除し、使用を停止するものとします。第5条、第6条、および第9条は、本契約の終了後も有効です。

7. 準拠法と管轄権。本契約は、カリフォルニア州の法律に基づいて管理され、解釈されます。法律選択の原則は適用されません。国際商品売買契約に関する国際連合条約は、本契約には適用されません。カリフォルニア州の裁判所は、本契約に起因するいかなる紛争についても排他的な管轄権を有します。

8. 変更と修正。Metaは、[https://huggingface.co/facebook/Perception-LM-8B/blob/main/LICENSE]に改訂版を掲載することにより、随時本契約を変更することができます。ただし、それらは本契約の現行バージョンと精神的に類似しているものの、新しい問題または懸念事項に対応するために詳細が異なる場合があります。すべての変更は、直ちに有効となります。本契約のいかなる変更後も研究資料を引き続き使用することは、あなたが当該変更に同意したことを意味します。本契約に別段の定めがない限り、本契約のいかなる条項の変更または追加も、書面であり、あなたとMetaの双方の権限を有する代表者が署名した場合にのみ拘束力を有します。

FAIR許容使用ポリシー

MetaのFundamental AI Research（FAIR）チームは、オープンな研究を通じて人工知能の最先端技術を向上させ、すべての人に利益をもたらすことを使命として、新しいおよび既存の研究分野の理解を深めることを目指しています。

この使命の一環として、Metaは特定の研究資料を非商用研究用途で利用可能にしています。Metaは、これらの研究資料の安全かつ責任ある使用を促進することにコミットしています。

禁止される使用

あなたは、研究資料を以下の目的で使用しないこと、または他人に使用させないことに同意するものとします。

• 法律または他人の権利を侵害すること。具体的には、以下のような違法または不法な活動またはコンテンツに関与、促進、生成、寄与、助長、計画、扇動、またはさらに進めること。

  • 暴力またはテロリズム
  • 児童の搾取または危害。児童搾取コンテンツの勧誘、作成、取得、または流通、または児童性虐待素材の通報漏れを含む。
  • 人身売買、搾取、および性的暴力
  • 未成年者への情報または資料の違法な配布。猥褻な資料を含む。または当該情報または資料に関連して法律で要求される年齢制限を設けないこと。
  • 性的勧誘
  • その他の犯罪行為

• 個人または個人グループの嫌がらせ、虐待、脅迫、またはいじめに関与、促進、扇動、または容易にすること。

• 雇用、雇用福利、信用、住宅、その他の経済的利益、またはその他の重要な商品またはサービスの提供における差別またはその他の違法または有害な行為に関与、促進、扇動、または容易にすること。

• 金融、法律、医療/健康、または関連する専門分野を含むがこれらに限定されない、いかなる職業の無許可または無免許の実践に関与すること。

• 適用される法律により必要とされる権利および同意なしに、個人に関する健康、人口統計、またはその他の敏感な個人情報またはプライベート情報を収集、処理、開示、生成、または推論すること。

• FAIR研究資料を使用した技術の出力または結果を含む、いかなる第三者の権利を侵害、盗用、またはその他の方法で侵害するいかなる行動に関与または容易にすること、またはいかなるコンテンツを生成すること。

• 悪意のあるコード、マルウェア、コンピュータウイルスを作成、生成、または容易にすること、またはウェブサイトまたはコンピュータシステムの適切な動作、整合性、操作、または外観を無効化、過負荷、妨害、または損なうことができるその他のことを行うこと。

• 個人に対する死亡または身体的危害のリスクをもたらす活動の計画または開発に関与、促進、扇動、容易にすること、または支援すること。具体的には、以下に関連する研究成果物の使用を含む。

  • 軍事、戦争、原子力産業または応用、諜報活動、米国国務省が維持する国際武器輸出規制（ITAR）の対象となる資料または活動への使用
  • 銃器および違法武器（武器開発を含む）
  • 違法薬物および規制/管理物質
  • 重要インフラストラクチャ、輸送技術、または重機械の運用
  • 自傷行為または他人への危害。自殺、切り傷、および摂食障害を含む。
  • 個人に対する暴力、虐待、または身体的危害を扇動または促進することを意図したいかなるコンテンツ

• 他人を意図的に欺くまたは誤解させること。具体的には、以下に関連するFAIR研究資料の使用を含む。

  • 詐欺の生成、促進、または拡大、または虚偽情報の作成または促進
  • 中傷的なコンテンツの生成、促進、または拡大。中傷的な声明、画像、またはその他のコンテンツの作成を含む。
  • スパムの生成、促進、またはさらなる配布
  • 同意、許可、または法的権利なしに他人をなりすますこと
  • FAIR研究資料の出力またはFAIR研究資料を使用した技術の出力が人間によって生成されたものであると表現すること
  • 偽のオンラインエンゲージメントの生成または容易化。偽のレビューおよびその他の偽のオンラインエンゲージメント手段を含む。

• 研究資料の既知の危険性をエンドユーザーに適切に開示しないこと。

このポリシーの違反またはこのポリシーの違反につながる可能性のあるその他の問題がある場合は、[https://docs.google.com/forms/d/e/1FAIpQLSeb11cryAopJ7LNrC4nxEUXrHY26hfkXQMf_uH-oFgA3WlYZQ/viewform] から報告してください。

追加情報提供フォームに関する注意事項

あなたが提供する情報は、Metaプライバシーポリシーに従って収集、保存、処理、および共有されます。

以下の「送信」をクリックすることで、あなたはライセンスの条件に同意し、あなたが提供する情報がMetaプライバシーポリシーに従って収集、保存、処理、および共有されることを承認するものとします。

必ずあなたの完全な法定名、生年月日、およびすべての法人識別子を含む完全な組織名を提供してください。略語や特殊文字の使用は避けてください。これらの指示に従わないと、このモデルやHugging Face上の他のモデルへのアクセスが妨げられる可能性があります。送信後はこのフォームを編集することはできないので、すべての情報が正確であることを確認してください。

🔧 技術詳細

このセクションでは、原READMEに技術詳細に関する具体的な内容が50字以上ないため、省略されています。

📄 ライセンス

上述のFAIR非商用研究ライセンスの内容が該当します。