Bert For Patents 64d

🚀 特許用低次元埋め込みモデル

このモデルは、埋め込み次元を削減し、メモリ/ストレージの使用量を抑えつつ、特許分析に利用可能なモデルです。

🚀 クイックスタート

このモデルは、fill-mask タスクに使用できます。以下にウィジェットの使用例を示します。

• 文: "The present [MASK] provides a torque sensor that is small and highly rigid and for which high production efficiency is possible."
• 文: "The present invention relates to [MASK] accessories and pertains particularly to a brake light unit for bicycles."
• 文: "The present invention discloses a space-bound-free [MASK] and its coordinate determining circuit for determining a coordinate of a stylus pen."
• 文: "The illuminated [MASK] includes a substantially translucent canopy supported by a plurality of ribs pivotally swingable towards and away from a shaft."

✨ 主な機能

• モデルは anferico/bert-for-patents をベースにしています。
• 主成分分析 (PCA) を使用して、埋め込み次元を1024から64に削減し、メモリ/ストレージの使用量を抑えています。
• パフォーマンスは、元のモデルと比較して遜色ありません。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

ドキュメントに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

動機

このモデルは、anferico/bert-for-patents - BERT_LARGE モデルをベースにしています（詳細は次のセクションを参照）。デフォルトでは、事前学習済みモデルの出力埋め込みは、サイズが768（ベースモデル）または1024（ラージモデル）です。ただし、数百万の埋め込みを保存する場合、これはかなり多くのメモリ/ストレージを必要とすることがあります。そこで、主成分分析 (PCA) を使用して、埋め込み次元を1024の1/16である64に削減しましたが、それでも同等のパフォーマンスを維持しています。PCAは、NMFよりも優れたパフォーマンスを示します。注意: このプロセスは、モデルの実行時間やメモリ要件を改善するものではありません。ベクトルデータベースを使用した意味検索など、埋め込みを保存するために必要なスペースのみを削減します。

特許用BERT

特許用BERTは、Googleによって1億件以上の特許（米国特許だけでなく）を使用して学習されたモデルです。

モデルについて詳しく学びたい場合は、ブログ記事、ホワイトペーパー、および元のTensorFlowチェックポイントを含むGitHubページを確認してください。

このモデル（またはそのバリアント）を使用しているプロジェクト

• Patents4IPPC（Pi School によって実施され、欧州委員会の合同研究センター (JRC) から委託されたもの）

🔧 技術詳細

ドキュメントに具体的な技術詳細が50文字以上記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

その他の情報