Tab Transformer

🚀 tf-keras

このライブラリは、TabTransformerを用いた構造化データ学習のKeras実装です。TabTransformerを用いることで、構造化データに対する分類タスクを効果的に行うことができます。

🚀 クイックスタート

このリポジトリには、Structured data learning with TabTransformer の学習済みモデルが含まれています。 すべての功績は Khalid Salama に帰属します。

Spaces Link:

✨ 主な機能

モデル概要

• 学習済みモデルは、自己注意ベースのTransformer構造を使用し、その後に複数のフィードフォワード層が続き、教師あり学習と半教師あり学習に対応しています。
• モデルの入力は、数値特徴量とカテゴリカル特徴量の両方を含むことができます。
• すべてのカテゴリカル特徴量は、同じ埋め込み次元数の埋め込みベクトルにエンコードされ、相互に加算（要素ごとの加算）された後、Transformerブロックのスタックに入力されます。
• 最後のTransformer層の後のカテゴリカル特徴量の文脈的な埋め込みは、入力の数値特徴量と連結され、最終的なMLPブロックに入力されます。
• モデルの最後にはSoftMax関数が適用されます。

想定される用途と制限

• このモデルは、表形式データに対する教師ありタスクと半教師ありタスクの両方に使用できます。

学習と評価データ

• このモデルは、UC Irvine Machine Learning Repositoryが提供する United States Census Income Dataset を使用して学習されました。このデータセットのタスクは、ある人が年間5万ドル以上の収入を得る可能性があるかどうかを予測すること（二値分類）です。
• データセットは14の入力特徴量で構成されています：5つの数値特徴量と9つのカテゴリカル特徴量。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションを省略します。

📚 ドキュメント

学習手順

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました：

学習メトリクス

モデルの学習履歴情報が必要です。

モデルのプロット

📄 ライセンス

READMEにライセンス情報が記載されていないため、このセクションを省略します。