ARA Reranker V1

🚀 ARM-V1 | アラビア語リランカーモデル (バージョン1)

このモデルは、アラビア語のリランキングタスクに特化して設計されており、クエリとパッセージを高精度に処理するように最適化されています。

詳細については、このブログを参照してください: ARM | アラビア語リランカーモデル。

🚀 クイックスタート

このモデルは、アラビア語のテキストリランキングタスクに特化して設計されています。以下のセクションでは、モデルの機能、使用方法、評価結果などについて説明します。

✨ 主な機能

• このモデルは、アラビア語のテキストリランキングタスクに特化しており、クエリとパッセージを高精度に処理できます。
• 埋め込みモデルとは異なり、このリランカーは直接質問と文書の類似性を評価し、関連性スコアを出力します。
• 肯定的なクエリ - パッセージペアと難しい否定的なペアの組み合わせで訓練されており、最も関連性の高い結果を特定するのに優れています。
• 出力スコアはシグモイド関数を使用して [0, 1] の範囲に変換でき、関連性の明確で解釈可能な尺度を提供します。

📦 インストール

sentence-transformers を使用する場合

pip install sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import CrossEncoder

# クロスエンコーダモデルをロード

# クエリと関連度の異なる候補のセットを定義
query = "تطبيقات الذكاء الاصطناعي تُستخدم في مختلف المجالات لتحسين الكفاءة."

# クエリに対する関連度が異なる候補
candidates = [
    "الذكاء الاصطناعي يساهم في تحسين الإنتاجية في الصناعات المختلفة.", # 非常に関連性が高い
    "نماذج التعلم الآلي يمكنها التعرف على الأنماط في مجموعات البيانات الكبيرة.", # 中程度の関連性
    "الذكاء الاصطناعي يساعد الأطباء في تحليل الصور الطبية بشكل أفضل.", # やや関連性がある
    "تستخدم الحيوانات التمويه كوسيلة للهروب من الحيوانات المفترسة.", # 関連性がない
]

# 各候補に対して (クエリ, 候補) のペアを作成
query_candidate_pairs = [(query, candidate) for candidate in candidates]

# モデルから関連性スコアを取得
scores = model.predict(query_candidate_pairs)

# 候補とそのスコアを組み合わせ、スコアで降順にソートする (スコアが高いほど関連性が高い)
ranked_candidates = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)

# 関連性に基づいてランク付けされた候補とそのスコアを出力
print("クエリに対する関連性に基づいてランク付けされた候補:")
for i, (candidate, score) in enumerate(ranked_candidates, 1):
    print(f"ランク {i}:")
    print(f"候補: {candidate}")
    print(f"スコア: {score}\n")

📚 ドキュメント

アラビア語RAGパイプライン

評価

データセット

• サイズ: 3000サンプル。

構造

• クエリ: ユーザーの質問を表す文字列。
• 候補文書: クエリに対する回答候補のパッセージ。
• 関連性ラベル: バイナリラベル (関連する場合は1、関連しない場合は0)。

評価プロセス

• クエリグルーピング: クエリをグループ化して、各クエリに対して候補文書を正しくランク付けするモデルの能力を評価します。
• モデル予測: 各モデルは、クエリに対応するすべての候補文書の関連性スコアを予測します。
• メトリクス計算: モデルが関連性の高い文書を関連性の低い文書よりも高くランク付けする程度を測定するためにメトリクスを計算します。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。

📚 引用

もしこのモデルを使用する場合は、次のように引用してください。

@misc{nacar2025ARM,
      title={ARM, Arabic Reranker Model}, 
      author={Omer Nacar},
      year={2025},
      url={https://huggingface.co/Omartificial-Intelligence-Space/ARA-Reranker-V1},
}

🔗 謝辞

著者は、このプロジェクトにおいてPrince Sultan Universityに感謝します。彼らの貢献とリソースは、これらのモデルの開発と微調整に不可欠でした。