Qurater 1.3B

🚀 QuRaterモデル

QuRaterモデルは、1.3BのSheared - LLaMAモデルをファインチューニングしたものです。このモデルは、言語モデルのトレーニングに高品質なデータを選択するためのシーケンス分類モデルです。

🚀 クイックスタート

QuRaterモデルは、論文「QuRating: Selecting High - Quality Data for Training Language Models」に基づいて開発されました。このモデルは、4つの基準に基づいた品質評価を出力するシーケンス分類モデルです。

✨ 主な機能

• このモデルは、4つの基準に基づいた品質評価を出力します。品質評価（正規化されていない）は、モデルの出力の4つのロジットを介してアクセスできます。ロジットの順序は以下の通りです。
  • ロジット0: 書き方のスタイル
  • ロジット1: 必要な専門知識
  • ロジット2: 事実と雑学
  • ロジット3: 教育的価値

📚 ドキュメント

⚠️ 重要提示

• このモデルは、最大512トークンのシーケンスでのみファインチューニングされています。より長いドキュメントには使用しないでください。代わりに、最大512トークンのウィンドウで品質評価を計算し、ウィンドウの長さで重み付け平均を取ってください。

💡 使用建议

• 論文では、QuRaterモデルの品質評価に存在するさまざまな種類のバイアス（ドメイン、トピック、社会的役割、地域、言語に関連するバイアス - 論文のセクション6を参照）を記載しています。したがって、QuRatingを使用したデータ選択は、トレーニング中の言語モデルに意図しない有害な影響を与える可能性があることに注意してください。
• 特に実際の環境でのデプロイ前に、これらおよびその他の種類のバイアスに関する言語モデルの包括的な評価を強くおすすめします。
• 品質評価は、テキストの社会的または文学的価値を測定するものではなく、テキストまたは人口統計学的研究には使用しないでください。

📦 データセット

• princeton - nlp/QuRating - GPT3.5 - Judgments