Qurater 1.3B

🚀 QuRater模型

QuRater模型是基於13億參數的Sheared - LLaMA模型進行微調得到的，可對文本質量進行多維度評估。

🚀 快速開始

QuRater模型是一個序列分類模型，它能依據四個標準預測文本的質量評級。這些質量評級（未歸一化）可通過模型輸出的四個對數幾率（logits）獲取，具體順序如下：

• 對數幾率0：寫作風格
• 對數幾率1：所需專業知識
• 對數幾率2：事實與瑣事
• 對數幾率3：教育價值

✨ 主要特性

• 微調基礎：該模型基於13億參數的Sheared - LLaMA模型微調而來。
• 多標準評估：可從四個不同標準對文本質量進行評級。

📚 詳細文檔

數據集

該模型使用了以下數據集進行訓練：

• princeton - nlp/QuRating - GPT3.5 - Judgments

論文引用

該模型的相關研究來自論文：QuRating: Selecting High - Quality Data for Training Language Models

輸出說明

模型輸出的四個對數幾率分別對應不同的質量評級標準，用戶可根據這些對數幾率瞭解文本在各方面的質量情況。

🔧 技術細節

模型為序列分類模型，通過對輸入文本進行處理，輸出四個對數幾率來表示文本在寫作風格、所需專業知識、事實與瑣事、教育價值這四個方面的質量評級。

📄 許可證

文檔未提及相關許可證信息。

⚠️ 重要提示

該模型僅在最多512個標記的序列上進行了微調，因此不應將其用於更長的文檔。建議對最多512個標記的窗口計算質量評級，並按窗口長度進行加權平均。

💡 使用建議

論文中記錄了QuRater模型的質量評級中存在的各種偏差（與領域、主題、社會角色、地區和語言相關的偏差，詳見論文第6節）。因此，使用QuRating進行數據選擇可能會對正在訓練的語言模型產生意想不到的有害影響。強烈建議在實際部署之前，對語言模型進行全面的偏差評估。此外，質量評級並不衡量文本的社會或文學價值，因此不應將其用於文本或人口統計學研究。