🚀 TableLLM:在真實辦公場景中讓大語言模型實現表格數據處理
項目鏈接
| 論文 | 訓練集 | Github | 主頁 |
我們推出了 TableLLM,這是一款強大的大語言模型,旨在高效處理表格數據處理任務,無論是嵌入在電子表格還是文檔中的表格,都能滿足真實辦公場景的需求。TableLLM 系列包含兩種不同規模的模型:TableLLM - 7B 和 TableLLM - 13B,它們是基於 CodeLlama - 7b - Instruct - hf 和 CodeLlama - 13b - Instruct - hf 進行微調的。
TableLLM 能夠根據不同場景生成代碼解決方案或直接生成文本答案,以處理表格數據處理任務。代碼生成用於處理嵌入在電子表格中的表格數據,通常涉及表格的插入、刪除、更新、查詢、合併和繪圖操作。文本生成用於處理嵌入在文檔中的表格數據,通常涉及短表格的查詢操作。
評估結果
我們在三個基準測試中評估了 TableLLM 生成代碼解決方案的能力,在四個基準測試中評估了其生成文本答案的能力。評估結果如下:
模型 |
WikiTQ |
TAT - QA |
FeTaQA |
OTTQA |
WikiSQL |
Spider |
自建基準測試 |
平均 |
TaPEX |
38.5 |
– |
– |
– |
83.9 |
15.0 |
/ |
45.8 |
TaPas |
31.5 |
– |
– |
– |
74.2 |
23.1 |
/ |
42.92 |
TableLlama |
24.0 |
22.2 |
20.5 |
6.4 |
43.7 |
9.0 |
/ |
20.7 |
GPT3.5 |
58.5 |
72.1 |
71.2 |
60.8 |
81.7 |
67.4 |
77.1 |
69.8 |
GPT4 |
74.1 |
77.1 |
78.4 |
69.5 |
84.0 |
69.5 |
77.8 |
75.8 |
Llama2 - Chat (13B) |
48.8 |
49.6 |
67.7 |
61.5 |
– |
– |
– |
56.9 |
CodeLlama (13B) |
43.4 |
47.2 |
57.2 |
49.7 |
38.3 |
21.9 |
47.6 |
43.6 |
Deepseek - Coder (33B) |
6.5 |
11.0 |
7.1 |
7.4 |
72.5 |
58.4 |
73.9 |
33.8 |
StructGPT (GPT3.5) |
52.5 |
27.5 |
11.8 |
14.0 |
67.8 |
84.8 |
/ |
48.9 |
Binder (GPT3.5) |
61.6 |
12.8 |
6.8 |
5.1 |
78.6 |
52.6 |
/ |
42.5 |
DATER (GPT3.5) |
53.4 |
28.4 |
18.3 |
13.0 |
58.2 |
26.5 |
/ |
37.0 |
TableLLM - 7B (我們的模型) |
58.8 |
66.9 |
72.6 |
63.1 |
86.6 |
82.6 |
78.8 |
72.8 |
TableLLM - 13B (我們的模型) |
62.4 |
68.2 |
74.5 |
62.5 |
90.7 |
83.4 |
80.8 |
74.7 |
提示模板
下面介紹我們用於生成代碼解決方案和文本答案的提示模板。
代碼解決方案
用於對單個表格進行插入、刪除、更新、查詢和繪圖操作的提示模板。
[INST]以下是一個 CSV 文件的前幾行。你需要編寫一個 Python 程序來解決提出的問題。
CSV 文件的表頭和前幾行:
{csv_data}
問題: {question}[/INST]
文本答案
用於生成短表格直接文本答案的提示模板。
[INST]請提供一個全面且準確的解決方案來回答下面的問題。
### [表格文本]
{table_descriptions}
### [表格]
{table_in_csv}
問題: {question}[/INST]
🚀 TableLLM:在真實辦公場景中讓大語言模型實現表格數據處理
📚 項目概述
我們推出了 TableLLM,這是一款強大的大語言模型,旨在高效處理表格數據處理任務,無論是嵌入在電子表格還是文檔中的表格,都能滿足真實辦公場景的需求。TableLLM 系列包含兩種不同規模的模型:TableLLM - 7B 和 TableLLM - 13B,它們分別基於 CodeLlama - 7b - Instruct - hf 和 CodeLlama - 13b - Instruct - hf 進行微調。
TableLLM 能夠根據不同場景生成代碼解決方案或直接生成文本答案,以處理表格數據處理任務。代碼生成用於處理嵌入在電子表格中的表格數據,通常涉及表格的插入、刪除、更新、查詢、合併和繪圖操作。文本生成用於處理嵌入在文檔中的表格數據,通常涉及短表格的查詢操作。
🔍 評估結果
我們在三個基準測試中評估了 TableLLM 生成代碼解決方案的能力,在四個基準測試中評估了其生成文本答案的能力。評估結果如下:
模型 |
WikiTQ |
TAT - QA |
FeTaQA |
OTTQA |
WikiSQL |
Spider |
自建基準測試 |
平均 |
TaPEX |
38.5 |
– |
– |
– |
83.9 |
15.0 |
/ |
45.8 |
TaPas |
31.5 |
– |
– |
– |
74.2 |
23.1 |
/ |
42.92 |
TableLlama |
24.0 |
22.2 |
20.5 |
6.4 |
43.7 |
9.0 |
/ |
20.7 |
GPT3.5 |
58.5 |
72.1 |
71.2 |
60.8 |
81.7 |
67.4 |
77.1 |
69.8 |
GPT4 |
74.1 |
77.1 |
78.4 |
69.5 |
84.0 |
69.5 |
77.8 |
75.8 |
Llama2 - Chat (13B) |
48.8 |
49.6 |
67.7 |
61.5 |
– |
– |
– |
56.9 |
CodeLlama (13B) |
43.4 |
47.2 |
57.2 |
49.7 |
38.3 |
21.9 |
47.6 |
43.6 |
Deepseek - Coder (33B) |
6.5 |
11.0 |
7.1 |
7.4 |
72.5 |
58.4 |
73.9 |
33.8 |
StructGPT (GPT3.5) |
52.5 |
27.5 |
11.8 |
14.0 |
67.8 |
84.8 |
/ |
48.9 |
Binder (GPT3.5) |
61.6 |
12.8 |
6.8 |
5.1 |
78.6 |
52.6 |
/ |
42.5 |
DATER (GPT3.5) |
53.4 |
28.4 |
18.3 |
13.0 |
58.2 |
26.5 |
/ |
37.0 |
TableLLM - 7B (我們的模型) |
58.8 |
66.9 |
72.6 |
63.1 |
86.6 |
82.6 |
78.8 |
72.8 |
TableLLM - 13B (我們的模型) |
62.4 |
68.2 |
74.5 |
62.5 |
90.7 |
83.4 |
80.8 |
74.7 |
📝 提示模板
下面介紹我們用於生成代碼解決方案和文本答案的提示模板。
代碼解決方案
用於對單個表格進行插入、刪除、更新、查詢和繪圖操作的提示模板。
[INST]以下是一個 CSV 文件的前幾行。你需要編寫一個 Python 程序來解決提出的問題。
CSV 文件的表頭和前幾行:
{csv_data}
問題: {question}[/INST]
文本答案
用於生成短表格直接文本答案的提示模板。
[INST]請提供一個全面且準確的解決方案來回答下面的問題。
### [表格文本]
{table_descriptions}
### [表格]
{table_in_csv}
問題: {question}[/INST]
📜 許可證
本項目使用的許可證為 Llama2。
📊 數據集
本項目使用的訓練數據集為 RUCKBReasoning/TableLLM - SFT。
🔗 相關鏈接