Arabic Reranker V1

🚀 アラビア語リランキングモデル V1

このモデルはアラビア語のリランキングモデルで、Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2 をファインチューニングしたものです。そのベースモデルは aubmindlab/bert-base-arabertv02 です。このモデルは、与えられたクエリに対する関連性に基づいてテキストオプションをスコア付けして並べ替えるリランキングタスクを行うように設計されており、特にアラビア語テキストに最適化されています。

このモデルは、大規模言語モデル (LLM) を使用して生成されたアラビア語トリプレットの合成データセットで学習されました。スコアリング手法を用いて改良されており、アラビア語の自然言語処理 (NLP) におけるランキングタスクに最適です。

✨ 主な機能

このモデルは、以下のアラビア語テキストのリランキングタスクに適しています。

• 情報検索とドキュメントランキング
• 検索エンジン結果のリランキング
• ランク付けされた回答選択肢を必要とする質問応答タスク

📦 インストール

このモデルを使用するには、sentence_transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install sentence-transformers

💻 使用例

基本的な使用法

以下は、sentence_transformers ライブラリを使用して、クエリに対する関連性に基づいて段落をリランキングするモデルの使用例です。

from sentence_transformers import CrossEncoder

# モデルをロード
model = CrossEncoder('oddadmix/arabic-reranker-v1', max_length=512)

# クエリと候補段落を定義
Query = 'كيف يمكن استخدام التعلم العميق في معالجة الصور الطبية؟'
Paragraph1 = 'التعلم العميق يساعد في تحليل الصور الطبية وتشخيص الأمراض'
Paragraph2 = 'الذكاء الاصطناعي يستخدم في تحسين الإنتاجية في الصناعات'

# クエリに対する関連性に基づいて段落をスコア付け
scores = model.predict([(Query, Paragraph1), (Query, Paragraph2)])

# スコアを出力
print("Score for Paragraph 1:", scores[0])
print("Score for Paragraph 2:", scores[1])

📚 ドキュメント

モデル情報