Tablellama

🚀 TableLlama：邁向開放的表格通用大模型

TableLlama 是一款專門為各類基於表格的任務量身定製的開源通用大模型。它在經過精心整理的表格指令調優數據集 🤗 TableInstruct 數據集 上進行訓練，能夠處理多達 8K 的上下文！

項目鏈接

• 項目頁面：https://osu-nlp-group.github.io/TableLlama/
• 論文地址：https://arxiv.org/abs/2311.09206
• 數據集地址：https://huggingface.co/datasets/osunlp/TableInstruct/
• 代碼地址：https://osu-nlp-group.github.io/TableLlama/

🚀 快速開始

你可以通過 Huggingface 的 Transformers 庫來使用該模型。更多高級用法請查看我們的 Github 倉庫：https://osu-nlp-group.github.io/TableLlama/

✨ 主要特性

• 針對性訓練：TableLlama 模型在 🤗 TableInstruct 數據集 上進行訓練，該數據集包含全面的基於表格的指令調優數據，涵蓋各種真實世界的表格和實際任務。
• 強大的處理能力：經過 260 萬條基於表格的任務數據調優，能夠處理多達 8K 的上下文。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

使用時的提示格式如下：

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that
appropriately completes the request.

### Instruction:
{instruction}

### Input:
{input}

### Question:
{question}

### Response:

📚 詳細文檔

模型

TableLlama - 7B

數據

模型在 🤗 TableInstruct 數據集 上進行訓練，該數據集包含一個全面的基於表格的指令調優數據集，涵蓋了各種真實世界的表格和實際任務。總共包含 11 個任務的 14 個數據集。更多詳細信息請查看數據集卡片。

訓練過程

模型使用 LongLoRA (7B) 對 TableInstruct 數據集進行微調，以全量微調版本為基礎模型，它用移位短注意力機制取代了原始 Llama - 2 (7B) 的普通注意力機制。在 48 個 80GB 的 A100 集群上訓練需要 9 天。更多詳細信息請查看我們的論文。

評估

模型在 8 個任務的 8 個領域內數據集和 4 個任務的 6 個領域外數據集上進行評估。

🔧 技術細節

模型使用 LongLoRA (7B) 對 TableInstruct 數據集進行微調，以全量微調版本為基礎模型，它用移位短注意力機制取代了原始 Llama - 2 (7B) 的普通注意力機制。在 48 個 80GB 的 A100 集群上訓練需要 9 天。

📄 許可證

本項目採用 CC - BY - 4.0 許可證。

⚠️ 侷限性

我們已盡力構建表格通用模型。然而，我們承認模型的性能可能會因表格任務和數據集的複雜性和特殊性而有所不同，目前仍無法全面覆蓋所有基於表格的任務。

📖 引用

如果您使用了本項目中的模型、數據或代碼，請引用原論文：

@misc{zhang2023tablellama,
  title={TableLlama: Towards Open Large Generalist Models for Tables}, 
  author={Tianshu Zhang and Xiang Yue and Yifei Li and Huan Sun},
  year={2023},
  eprint={2311.09206},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}