Tablellama

🚀 TableLlama：迈向开放的表格通用大模型

TableLlama 是一款专门为各类基于表格的任务量身定制的开源通用大模型。它在经过精心整理的表格指令调优数据集 🤗 TableInstruct 数据集 上进行训练，能够处理多达 8K 的上下文！

项目链接

• 项目页面：https://osu-nlp-group.github.io/TableLlama/
• 论文地址：https://arxiv.org/abs/2311.09206
• 数据集地址：https://huggingface.co/datasets/osunlp/TableInstruct/
• 代码地址：https://osu-nlp-group.github.io/TableLlama/

🚀 快速开始

你可以通过 Huggingface 的 Transformers 库来使用该模型。更多高级用法请查看我们的 Github 仓库：https://osu-nlp-group.github.io/TableLlama/

✨ 主要特性

• 针对性训练：TableLlama 模型在 🤗 TableInstruct 数据集 上进行训练，该数据集包含全面的基于表格的指令调优数据，涵盖各种真实世界的表格和实际任务。
• 强大的处理能力：经过 260 万条基于表格的任务数据调优，能够处理多达 8K 的上下文。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

基础用法

使用时的提示格式如下：

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that
appropriately completes the request.

### Instruction:
{instruction}

### Input:
{input}

### Question:
{question}

### Response:

📚 详细文档

模型

TableLlama - 7B

数据

模型在 🤗 TableInstruct 数据集 上进行训练，该数据集包含一个全面的基于表格的指令调优数据集，涵盖了各种真实世界的表格和实际任务。总共包含 11 个任务的 14 个数据集。更多详细信息请查看数据集卡片。

训练过程

模型使用 LongLoRA (7B) 对 TableInstruct 数据集进行微调，以全量微调版本为基础模型，它用移位短注意力机制取代了原始 Llama - 2 (7B) 的普通注意力机制。在 48 个 80GB 的 A100 集群上训练需要 9 天。更多详细信息请查看我们的论文。

评估

模型在 8 个任务的 8 个领域内数据集和 4 个任务的 6 个领域外数据集上进行评估。

🔧 技术细节

模型使用 LongLoRA (7B) 对 TableInstruct 数据集进行微调，以全量微调版本为基础模型，它用移位短注意力机制取代了原始 Llama - 2 (7B) 的普通注意力机制。在 48 个 80GB 的 A100 集群上训练需要 9 天。

📄 许可证

本项目采用 CC - BY - 4.0 许可证。

⚠️ 局限性

我们已尽力构建表格通用模型。然而，我们承认模型的性能可能会因表格任务和数据集的复杂性和特殊性而有所不同，目前仍无法全面覆盖所有基于表格的任务。

📖 引用

如果您使用了本项目中的模型、数据或代码，请引用原论文：

@misc{zhang2023tablellama,
  title={TableLlama: Towards Open Large Generalist Models for Tables}, 
  author={Tianshu Zhang and Xiang Yue and Yifei Li and Huan Sun},
  year={2023},
  eprint={2311.09206},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}