🚀 TableLLM:在真实办公场景中让大语言模型实现表格数据处理
项目链接
| 论文 | 训练集 | Github | 主页 |
我们推出了 TableLLM,这是一款强大的大语言模型,旨在高效处理表格数据处理任务,无论是嵌入在电子表格还是文档中的表格,都能满足真实办公场景的需求。TableLLM 系列包含两种不同规模的模型:TableLLM - 7B 和 TableLLM - 13B,它们是基于 CodeLlama - 7b - Instruct - hf 和 CodeLlama - 13b - Instruct - hf 进行微调的。
TableLLM 能够根据不同场景生成代码解决方案或直接生成文本答案,以处理表格数据处理任务。代码生成用于处理嵌入在电子表格中的表格数据,通常涉及表格的插入、删除、更新、查询、合并和绘图操作。文本生成用于处理嵌入在文档中的表格数据,通常涉及短表格的查询操作。
评估结果
我们在三个基准测试中评估了 TableLLM 生成代码解决方案的能力,在四个基准测试中评估了其生成文本答案的能力。评估结果如下:
模型 |
WikiTQ |
TAT - QA |
FeTaQA |
OTTQA |
WikiSQL |
Spider |
自建基准测试 |
平均 |
TaPEX |
38.5 |
– |
– |
– |
83.9 |
15.0 |
/ |
45.8 |
TaPas |
31.5 |
– |
– |
– |
74.2 |
23.1 |
/ |
42.92 |
TableLlama |
24.0 |
22.2 |
20.5 |
6.4 |
43.7 |
9.0 |
/ |
20.7 |
GPT3.5 |
58.5 |
72.1 |
71.2 |
60.8 |
81.7 |
67.4 |
77.1 |
69.8 |
GPT4 |
74.1 |
77.1 |
78.4 |
69.5 |
84.0 |
69.5 |
77.8 |
75.8 |
Llama2 - Chat (13B) |
48.8 |
49.6 |
67.7 |
61.5 |
– |
– |
– |
56.9 |
CodeLlama (13B) |
43.4 |
47.2 |
57.2 |
49.7 |
38.3 |
21.9 |
47.6 |
43.6 |
Deepseek - Coder (33B) |
6.5 |
11.0 |
7.1 |
7.4 |
72.5 |
58.4 |
73.9 |
33.8 |
StructGPT (GPT3.5) |
52.5 |
27.5 |
11.8 |
14.0 |
67.8 |
84.8 |
/ |
48.9 |
Binder (GPT3.5) |
61.6 |
12.8 |
6.8 |
5.1 |
78.6 |
52.6 |
/ |
42.5 |
DATER (GPT3.5) |
53.4 |
28.4 |
18.3 |
13.0 |
58.2 |
26.5 |
/ |
37.0 |
TableLLM - 7B (我们的模型) |
58.8 |
66.9 |
72.6 |
63.1 |
86.6 |
82.6 |
78.8 |
72.8 |
TableLLM - 13B (我们的模型) |
62.4 |
68.2 |
74.5 |
62.5 |
90.7 |
83.4 |
80.8 |
74.7 |
提示模板
下面介绍我们用于生成代码解决方案和文本答案的提示模板。
代码解决方案
用于对单个表格进行插入、删除、更新、查询和绘图操作的提示模板。
[INST]以下是一个 CSV 文件的前几行。你需要编写一个 Python 程序来解决提出的问题。
CSV 文件的表头和前几行:
{csv_data}
问题: {question}[/INST]
文本答案
用于生成短表格直接文本答案的提示模板。
[INST]请提供一个全面且准确的解决方案来回答下面的问题。
### [表格文本]
{table_descriptions}
### [表格]
{table_in_csv}
问题: {question}[/INST]
🚀 TableLLM:在真实办公场景中让大语言模型实现表格数据处理
📚 项目概述
我们推出了 TableLLM,这是一款强大的大语言模型,旨在高效处理表格数据处理任务,无论是嵌入在电子表格还是文档中的表格,都能满足真实办公场景的需求。TableLLM 系列包含两种不同规模的模型:TableLLM - 7B 和 TableLLM - 13B,它们分别基于 CodeLlama - 7b - Instruct - hf 和 CodeLlama - 13b - Instruct - hf 进行微调。
TableLLM 能够根据不同场景生成代码解决方案或直接生成文本答案,以处理表格数据处理任务。代码生成用于处理嵌入在电子表格中的表格数据,通常涉及表格的插入、删除、更新、查询、合并和绘图操作。文本生成用于处理嵌入在文档中的表格数据,通常涉及短表格的查询操作。
🔍 评估结果
我们在三个基准测试中评估了 TableLLM 生成代码解决方案的能力,在四个基准测试中评估了其生成文本答案的能力。评估结果如下:
模型 |
WikiTQ |
TAT - QA |
FeTaQA |
OTTQA |
WikiSQL |
Spider |
自建基准测试 |
平均 |
TaPEX |
38.5 |
– |
– |
– |
83.9 |
15.0 |
/ |
45.8 |
TaPas |
31.5 |
– |
– |
– |
74.2 |
23.1 |
/ |
42.92 |
TableLlama |
24.0 |
22.2 |
20.5 |
6.4 |
43.7 |
9.0 |
/ |
20.7 |
GPT3.5 |
58.5 |
72.1 |
71.2 |
60.8 |
81.7 |
67.4 |
77.1 |
69.8 |
GPT4 |
74.1 |
77.1 |
78.4 |
69.5 |
84.0 |
69.5 |
77.8 |
75.8 |
Llama2 - Chat (13B) |
48.8 |
49.6 |
67.7 |
61.5 |
– |
– |
– |
56.9 |
CodeLlama (13B) |
43.4 |
47.2 |
57.2 |
49.7 |
38.3 |
21.9 |
47.6 |
43.6 |
Deepseek - Coder (33B) |
6.5 |
11.0 |
7.1 |
7.4 |
72.5 |
58.4 |
73.9 |
33.8 |
StructGPT (GPT3.5) |
52.5 |
27.5 |
11.8 |
14.0 |
67.8 |
84.8 |
/ |
48.9 |
Binder (GPT3.5) |
61.6 |
12.8 |
6.8 |
5.1 |
78.6 |
52.6 |
/ |
42.5 |
DATER (GPT3.5) |
53.4 |
28.4 |
18.3 |
13.0 |
58.2 |
26.5 |
/ |
37.0 |
TableLLM - 7B (我们的模型) |
58.8 |
66.9 |
72.6 |
63.1 |
86.6 |
82.6 |
78.8 |
72.8 |
TableLLM - 13B (我们的模型) |
62.4 |
68.2 |
74.5 |
62.5 |
90.7 |
83.4 |
80.8 |
74.7 |
📝 提示模板
下面介绍我们用于生成代码解决方案和文本答案的提示模板。
代码解决方案
用于对单个表格进行插入、删除、更新、查询和绘图操作的提示模板。
[INST]以下是一个 CSV 文件的前几行。你需要编写一个 Python 程序来解决提出的问题。
CSV 文件的表头和前几行:
{csv_data}
问题: {question}[/INST]
文本答案
用于生成短表格直接文本答案的提示模板。
[INST]请提供一个全面且准确的解决方案来回答下面的问题。
### [表格文本]
{table_descriptions}
### [表格]
{table_in_csv}
问题: {question}[/INST]
📜 许可证
本项目使用的许可证为 Llama2。
📊 数据集
本项目使用的训练数据集为 RUCKBReasoning/TableLLM - SFT。
🔗 相关链接