Tablellama

🚀 TableLlama: 表向けのオープンな大規模汎用モデルの実現

TableLlamaは、様々な表ベースのタスクに特化したオープンソースの大規模汎用モデルです。このモデルは、表向けに細心の注意を払って作成された🤗 TableInstructデータセット を使用して訓練されています。TableLlamaは260万件の表ベースのタスクデータで調整され、最大8Kのコンテキストを扱うことができます。

🚀 クイックスタート

TableLlamaは、表ベースの様々なタスクを扱うために設計されたオープンソースの大規模汎用モデルです。以下のリンクから、プロジェクトページ、論文、データセット、コードにアクセスできます。

• プロジェクトページ: https://osu-nlp-group.github.io/TableLlama/
• 論文: https://arxiv.org/abs/2311.09206
• データセット: https://huggingface.co/datasets/osunlp/TableInstruct/
• コード: https://osu-nlp-group.github.io/TableLlama/

✨ 主な機能

• TableLlamaモデルは、🤗 TableInstructデータセット で訓練されています。
• 260万件の表ベースのタスクデータで調整され、最大8Kのコンテキストを扱うことができます。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

READMEに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデル

TableLlama-7B

データ

モデルは、🤗 TableInstructデータセット で訓練されています。このデータセットは、様々な実世界の表と現実的なタスクをカバーする包括的な表ベースの命令微調整データセットです。合計11のタスクの14のデータセットが含まれています。詳細については、データセットカードを参照してください。

訓練手順

モデルは、TableInstructデータセットを使用してLongLoRA (7B) で微調整されています。ベースモデルとして完全微調整バージョンを使用し、元のLlama-2 (7B) のバニラアテンションメカニズムをシフトショートアテンションに置き換えています。訓練は、48台の80*A100クラスタで9日間かかります。詳細については、論文を参照してください。

評価

モデルは、8つのタスクの8つのドメイン内データセットと4つのタスクの6つのドメイン外データセットで評価されています。

使用方法

HuggingfaceのTransformersライブラリを通じてモデルを使用することができます。より高度な使用方法については、GitHubリポジトリを参照してください: https://osu-nlp-group.github.io/TableLlama/

プロンプト形式

以下はタスクを説明する命令と、さらなるコンテキストを提供する入力がペアになったものです。要求を適切に完了する応答を記述してください。

### 命令:
{命令}

### 入力:
{入力}

### 質問:
{質問}

### 応答:

制限事項

私たちは表汎用モデルを構築するために最善を尽くしました。しかし、モデルのパフォーマンスは、表タスクとデータセットの複雑さと詳細によって異なる可能性があることを認識しています。まだすべての表ベースのタスクを網羅することはできません。

🔧 技術詳細

READMEに具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このプロジェクトはCC BY 4.0ライセンスの下で提供されています。

引用

このプロジェクトのモデル、データ、またはコードを使用する場合は、以下の元の論文を引用してください。

@misc{zhang2023tablellama,
  title={TableLlama: Towards Open Large Generalist Models for Tables}, 
  author={Tianshu Zhang and Xiang Yue and Yifei Li and Huan Sun},
  year={2023},
  eprint={2311.09206},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}