Namaa ARA Reranker V1

🚀 ARM-V1 紹介 | アラビア語リランカーモデル (バージョン1)

このモデルは、アラビア語のリランキングタスクに特化して設計されており、クエリとパッセージを精度よく処理するように最適化されています。

詳細については、このブログを参照してください：ARM | アラビア語リランカーモデル。

✨ 主な機能

• このモデルは、アラビア語のリランキングタスクに特化して設計されており、クエリとパッセージを精度よく処理するように最適化されています。
• 埋め込みモデルがベクトル表現を生成するのとは異なり、このリランカーは質問と文書の類似性を直接評価し、関連性スコアを出力します。
• 肯定的なクエリ - パッセージペアと難しい否定的なペアの組み合わせで学習されており、最も関連性の高い結果を特定するのに優れています。
• 出力スコアはシグモイド関数を使用して[0, 1]の範囲に変換でき、関連性の明確で解釈可能な尺度を提供します。

📚 ドキュメント

アラビア語RAGパイプライン

📦 インストール

sentence-transformersを使用する場合

pip install sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import CrossEncoder

# クロスエンコーダモデルをロードする

# クエリと、関連性の程度が異なる候補のセットを定義する
query = "تطبيقات الذكاء الاصطناعي تُستخدم في مختلف المجالات لتحسين الكفاءة."

# クエリに対する関連性が異なる候補
candidates = [
    "الذكاء الاصطناعي يساهم في تحسين الإنتاجية في الصناعات المختلفة.", # 非常に関連性が高い
    "نماذج التعلم الآلي يمكنها التعرف على الأنماط في مجموعات البيانات الكبيرة.", # 中程度の関連性
    "الذكاء الاصطناعي يساعد الأطباء في تحليل الصور الطبية بشكل أفضل.", # やや関連性がある
    "تستخدم الحيوانات التمويه كوسيلة للهروب من الحيوانات المفترسة.", # 関連性がない
]

# 各候補に対して (クエリ, 候補) のペアを作成する
query_candidate_pairs = [(query, candidate) for candidate in candidates]

# モデルから関連性スコアを取得する
scores = model.predict(query_candidate_pairs)

# 候補とそのスコアを組み合わせ、スコアで降順に並べる (スコアが高いほど関連性が高い)
ranked_candidates = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)

# クエリに対する関連性に基づいてランク付けされた候補を出力する
print("クエリに対する関連性に基づいてランク付けされた候補:")
for i, (candidate, score) in enumerate(ranked_candidates, 1):
    print(f"ランク {i}:")
    print(f"候補: {candidate}")
    print(f"スコア: {score}\n")

🔧 技術詳細

評価

データセット

• サイズ: 3000サンプル。

構造

• クエリ: ユーザーの質問を表す文字列。
• 候補文書: クエリに対する回答の候補パッセージ。
• 関連性ラベル: 二値ラベル (関連性がある場合は1、関連性がない場合は0)。

評価プロセス

• クエリグルーピング: 各クエリに対して候補文書を正しくランク付けするモデルの能力を評価するために、クエリをグループ化します。
• モデル予測: 各モデルは、クエリに対応するすべての候補文書の関連性スコアを予測します。
• メトリクス計算: モデルが関連性の高い文書を関連性の低い文書よりも高くランク付けする程度を測定するために、メトリクスを計算します。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。

📚 引用

もしこのモデルを使用する場合は、以下のように引用してください。

@misc{nacar2025ARM,
      title={ARM, Arabic Reranker Model}, 
      author={Omer Nacar},
      year={2025},
      url={https://huggingface.co/Omartificial-Intelligence-Space/ARA-Reranker-V1},
}

謝辞

著者は、このプロジェクトにおいてPrince Sultan Universityに貴重な支援をいただいたことに感謝します。彼らの貢献とリソースは、これらのモデルの開発と微調整に不可欠でした。