FRED T5 Large Habr Summarizer

🚀 哈勃文章抽象摘要生成器

這是一個用於哈勃文章的抽象摘要生成器，基於 GPT Week 測試任務的數據進行訓練。它以 ai-forever/FRED-T5-large 為基礎模型，能夠有效對哈勃文章進行摘要提取。

🚀 快速開始

使用該摘要生成器需要對文本進行預處理和後處理，以下是具體示例：

import re
from transformers import pipeline


clean_expr = re.compile(r"[\xa0\x1a\x16\x1b\x17\x15\u2004]")
spaces_expr = re.compile(r"\s{2,}")

def process_text(text: str) -> str:
    """對文本進行預處理和後處理。"""
    text = clean_expr.sub(" ", text)
    text = spaces_expr.sub(" ", text)

    if "." in text:
        index = text.rindex(".")
        text = text[:index + 1]
    
    return text


summarizer = pipeline("summarization", model="basic-go/FRED-T5-large-habr-summarizer", device=0)

ARTICLE = """
Трогательный инженерный бизиборд, Новый Год и волонтеры / Хабр                

31-12-2019
Зачем нужен бизиборд, когда у папы много интересных инструментов? Опасные убраны, а пассатижами пусть ребенок играет, шуруповерт нажимает, ручки осциллографа крутит. Но наступил момент и сделан инженерный бизиборд. Таким каким он должен быть, в противоположность фабричному изделию – красивому, глянцевому, красочному, со всеми закругленными углами и краями. Разноцветному для глаз, но однородному и скучному на ощупь. С чего все началось Началось с объявления чуть больше года назад в социальной сети, что московскому психоневралогическому интернату (ПНИ) требуются бизиборды: Что это такое Что такое ПНИ трудно представить, но можно посмотреть в youtube. И если волонтеры пишут, что в ПНИ проблема дефицита сенсорных впечатлений, значит это ОЧЕНЬ большая проблема. Мы, взрослые, ходим по строительному гипермаркету и крутим в руках железки, щупаем трубки, проводим рукой по оплетке и т.д. Женщины в магазине трогают вообще всё. Я инженер, регулярно покупаю какие-то детали, чтобы на столе лежали, и я достаточное количество раз их потрогал и постепенно понял – смогу ли применить как задумал. Каждый в детстве лежал на кровати и бесконечно долго разглядывал и щупал ковер. Или, провинившись, стоял в углу и ковырял обои. Щупать – это способность и потребность человека. Когда мы с товарищем увидели бизиборды, которые планируется купить для ПНИ, решили сделать максимально трогательный бизиборд сами. Трогательный в прямом смысле. Куплены парные раскручивающиеся фитинги из пластика, никелированной стали, бронзы, чугуна оцинкованного и черного чугуна. Медные трубки, гофрированная трубка из нержавеющей стали, по которой со звоном долго спускается шайба, если ее поднять и отпустить. Самый красивый материал, конечно, никелированная сталь. Но красота не главное, главное контраст. Поэтому рядом с никелированной деталью висит деталь из черного чугуна, и трудно сказать – какой материал даст больший чувственный опыт. «Чугунные игрушки» из анекдота – не насмешка, а необходимость; ребенку важно почувствовать тяжесть и грубую фактуру материала. Все фитинги по-разному закручиваются, интересней других крутить сложные составные фитинги для труб ПНД. Гофра для унитаза удивляет диаметром, и ее можно растягивать. Пеньковая веревка впечатляюще колюча. Отрезной диск красивый, брутальный, и на ощупь грубый. Образцы керамики вдали выглядят обычно, но красивые, если рассматривать их многослойное покрытие вблизи, проводя по рельефу пальцами. Как это сделано За основу взят лист фанеры 1500×1000×10 мм. В строительном гипермаркете есть услуга пила в размер, к основному листу дополнительно нарезали ребер жесткости. С размером листа ошибся, лист чуть-чуть не влез в автомобиль, а гипермаркет уже закрылся и пришлось в ночь идти с этим листом домой пешком – не надо так. Ребра жесткости прикручены шурупами 16 мм – стянут оба листа, но не выйдут с другой стороны. Всюду, где можно, использован детский труд. Детский труд экономит деньги – не нужно покупать очередной конструктор. Вон папе купили новое кресло, иди распаковывай и собирай, нужна будет помощь — позовешь. И детский труд – это педагогично, ребенок вырастет умеющим не только работать руками, но и делегировать задачи. Дети учатся не тому, чему их учат взрослые, а тому что взрослые при детях делают. Покрасили на лестничной площадке, постелив полиэтилен. Закрепили детали тросами в ПВХ-оплетке. Стальные тросы в ПВХ-оплетке — прекрасный материал, только пришлось отдельно ехать в магазин за кусачками, которые этот трос смогут перекусить. На обратной стороне тросы затянули узлами, а узлы залили термоклеем. Термоклей имеет хорошую адгезию к ПВХ, залитый узел сам не распустится и выдернуть его с лицевой стороны стенда невозможно. Чем все закончилось В «наш» ПНИ уже успели закупить готовые бизиборды, меня переправили к волонтерам другого ПНИ. Там фотографии посмотрели и сказали – а давайте отправим ваш стенд в Азовский интернат для умственно отсталых детей. Сказали – и отправили. В новогоднюю ночь приехала еще одна бригада волонтеров, погрузили стенд в огромный прицеп к АЗЛК 2141 уже забитый коробками с подарками интернату, и в метель уехали. Очень романтично. Дальше я долго пытался получить какую-то обратную связь от волонтеров, но смог лишь узнать телефон интерната. Там звонку удивились, обрадовались, сказали, что не поняли, что это им привезли и отдали в уголок труда. И сказали, что примут любую помощь, и чтобы я приходил и помогал. Я посмотрел фотографии интерната, посмотрел на детей и увидел, что стенд отправили совершенно не туда. Ситуация в интернате по сравнению с ПНИ роскошная, проблемы запертости в своем теле и на своей кровати у детей нет. Жил бы рядом с интернатом – приходил бы по субботам, учил бы этих детей программировать Ардуино. Опыт преподавания робототехники в школе есть, справился бы и в интернате. Но между нами 1100 км. А стенд все же нужен был в ПНИ. Выводы Все сделано правильно, только нужно самому говорить с тем, для кого что-то делаешь. Самому изучать потребность, самому получать обратную связь и самому делать следующий шаг. Стенд делается относительно легко, технология «фанера + тросы в пвх + термоклей» рабочая, предлагаю использовать наш опыт.
"""

ARTICLE = process_text(ARTICLE)

response = summarizer(ARTICLE, max_new_tokens=360, num_beams=2, do_sample=True, top_k=100,
    repetition_penalty=2.5, length_penalty=1.0)

summary = process_text(response[0]["summary_text"])

print(summary)

# Трогательный инженерный бизиборд, сделанный для московского психоневралогического интерната, был сделан самим автором. Он использовал парные раскручивающиеся фитинги из пластика, никелированной стали, бронзы, чугуна оцинкованного и черного чугуна, а также детские труд и инструменты. В новогоднюю ночь стенд был отправлен в Азовский интернат для умственно отсталых детей. Автор выражает благодарность волонтерам, которые помогли сделать этот стенд, и предлагает использовать их опыт для улучшения ситуации в интернате.

📚 詳細文檔

歷史方法

不同方法在測試數據集上的指標如下表所示：

在初始階段，模型存在以下影響指標的問題：

• 字節序列生成問題：通過預處理和後處理解決。
• 模型常未完成最後一句：通過後處理截斷未完成部分解決，後處理對最終模型的指標貢獻較小。
• 文本片段重複和改寫：在最終模型中該問題得到顯著緩解，但仍可能存在重複情況。

1. SFT

• 按照 metric > 0.65 的規則從訓練數據集中進行切片。
• 將切片後的數據集按 4 : 1 的比例劃分為訓練集和驗證集。
• 以 1e - 4 為初始學習率，進行 4 個 epoch 的訓練，學習率逐漸減小。

2. SFT + 後處理

• 對模型的文本輸出應用示例中的 process_text 函數。

3. SFT + DPO + 後處理

• 使用 SFT 模型對訓練切片進行推理。
• 以 1e - 7 為學習率，對生成的候選數據進行 1 個 epoch 的 DPO 訓練。

4. 額外數據 + SFT + 後處理

“額外數據” 意味著在更大的數據集上進行更多訓練。

• 使用上一步得到的模型對原始訓練數據集的一半進行推理。
• 將生成結果與之前的生成結果合併，併為每篇文章選擇最佳候選。
• 按照 metric > 0.65 的規則對候選數據進行新的切片，使數據集增加 30%。
• 以 1e - 4 為初始學習率，重新進行 8 個 epoch 的訓練，學習率逐漸減小。

未成功的嘗試

未能實現 額外數據 + SFT + DPO [+ 後處理] 配置，訓練不穩定，模型從某個時刻開始性能下降。

可能的改進方向

在第四種方法中，僅使用了約 20% 的原始訓練數據集。通過更改生成參數並重新進行推理，可以獲得更多通過 metric > 0.65 閾值的候選數據。預計在具有更多高質量候選數據的數據集上訓練模型（由於多樣性增加），可以提高目標指標。

📄 許可證

本項目採用 Apache - 2.0 許可證。