Hindi Sentence Similarity Sbert
これはSTSデータセットでファインチューニングされたヒンディー語の文類似度モデルで、ヒンディー語の文間の意味的類似性を計算できます。
ダウンロード数 655
リリース時間 : 11/5/2022
モデル概要
このモデルはHindSBERTモデルを文類似度タスクでファインチューニングしたもので、ヒンディー語の文を768次元のベクトル空間にマッピングし、文間の意味的類似性を計算できます。
モデル特徴
ヒンディー語最適化
ヒンディー語テキストに特化して最適化されており、ヒンディー語の文の意味的特徴をより適切に処理できます。
文類似度計算
ヒンディー語の文間の意味的類似性を正確に計算でき、情報検索、質問応答システムなどのアプリケーションに適しています。
768次元ベクトル表現
文を768次元の密なベクトル表現に変換し、後続の類似度計算やクラスタリング分析を容易にします。
モデル能力
文埋め込み
意味的類似度計算
テキスト特徴抽出
使用事例
情報検索
類似ドキュメント検索
クエリ文に基づいて意味的に類似したドキュメントや段落を検索
検索結果の関連性を向上
質問応答システム
質問マッチング
ユーザーの質問とナレッジベース内の類似質問をマッチング
質問応答システムの精度向上
テキストクラスタリング
ドキュメントクラスタリング
文ベクトルに基づいてドキュメントをクラスタリング分析
テキストデータ内のトピック分布を発見
## 🚀 HindSBERT-STS
このモデルは、STSデータセットでファインチューニングされたHindSBERTモデル(<a href = 'https://huggingface.co/l3cube-pune/hindi-sentence-bert-nli'> l3cube-pune/hindi-sentence-bert-nli </a>)です。<br>
プロジェクトMahaNLPの一部として公開されています: https://github.com/l3cube-pune/MarathiNLP <br>
主要なインド言語をサポートし、クロス言語の文の類似性を扱う多言語バージョンのモデルはこちらに公開されています <a href='https://huggingface.co/l3cube-pune/indic-sentence-similarity-sbert'> indic-sentence-similarity-sbert </a> <br>
データセット、モデル、およびベースラインの結果に関する詳細は、当社の[論文] (https://arxiv.org/abs/2211.11187) で確認できます。
@article{joshi2022l3cubemahasbert, title={L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi}, author={Joshi, Ananya and Kajale, Aditi and Gadre, Janhavi and Deode, Samruddhi and Joshi, Raviraj}, journal={arXiv preprint arXiv:2211.11187}, year={2022} }
<a href='https://arxiv.org/abs/2211.11187'> 単言語のインドSBERT論文 </a> <br>
<a href='https://arxiv.org/abs/2304.11434'> 多言語のインドSBERT論文 </a>
### その他の単言語類似性モデル
- <a href='https://huggingface.co/l3cube-pune/marathi-sentence-similarity-sbert'> マラーティ語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/hindi-sentence-similarity-sbert'> ヒンディー語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/kannada-sentence-similarity-sbert'> カンナダ語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/telugu-sentence-similarity-sbert'> テルグ語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/malayalam-sentence-similarity-sbert'> マラヤーラム語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/tamil-sentence-similarity-sbert'> タミル語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/gujarati-sentence-similarity-sbert'> グジャラート語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/odia-sentence-similarity-sbert'> オリヤー語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/bengali-sentence-similarity-sbert'> ベンガル語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/punjabi-sentence-similarity-sbert'> パンジャーブ語類似性 </a> <br>
- <a href='https://huggingface.co/l3cube-pune/indic-sentence-similarity-sbert'> インド語類似性(多言語)</a> <br>
### その他の単言語インド文BERTモデル
- <a href='https://huggingface.co/l3cube-pune/marathi-sentence-bert-nli'> マラーティ語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/hindi-sentence-bert-nli'> ヒンディー語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/kannada-sentence-bert-nli'> カンナダ語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/telugu-sentence-bert-nli'> テルグ語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/malayalam-sentence-bert-nli'> マラヤーラム語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/tamil-sentence-bert-nli'> タミル語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/gujarati-sentence-bert-nli'> グジャラート語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/odia-sentence-bert-nli'> オリヤー語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/bengali-sentence-bert-nli'> ベンガル語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/punjabi-sentence-bert-nli'> パンジャーブ語SBERT</a> <br>
- <a href='https://huggingface.co/l3cube-pune/indic-sentence-bert-nli'> インド語SBERT(多言語)</a> <br>
これは [sentence-transformers](https://www.SBERT.net) モデルです。文や段落を768次元の密ベクトル空間にマッピングし、クラスタリングや意味検索などのタスクに使用できます。
## 🚀 クイックスタート
### ✨ 主な機能
このモデルは、ヒンディー語の文の類似性を計算するために、HindSBERTモデルをSTSデータセットでファインチューニングしたものです。また、多言語版のモデルも提供されており、主要なインド言語の文の類似性を計算することができます。
### 📦 インストール
pip install -U sentence-transformers
### 💻 使用例
#### 基本的な使用法 (Sentence-Transformers)
```python
from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('{MODEL_NAME}')
embeddings = model.encode(sentences)
print(embeddings)
高度な使用法 (HuggingFace Transformers)
from transformers import AutoTokenizer, AutoModel
import torch
#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
token_embeddings = model_output[0] #First element of model_output contains all token embeddings
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
# Sentences we want sentence embeddings for
sentences = ['This is an example sentence', 'Each sentence is converted']
# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('{MODEL_NAME}')
model = AutoModel.from_pretrained('{MODEL_NAME}')
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
# Compute token embeddings
with torch.no_grad():
model_output = model(**encoded_input)
# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)
📄 ライセンス
このモデルは、CC BY 4.0ライセンスの下で公開されています。
Jina Embeddings V3
Jina Embeddings V3 は100以上の言語をサポートする多言語文埋め込みモデルで、文の類似度と特徴抽出タスクに特化しています。
テキスト埋め込み
Transformers 複数言語対応

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
MS Marcoパッセージランキングタスクで訓練されたクロスエンコーダモデル、情報検索におけるクエリ-パッセージ関連性スコアリング用
テキスト埋め込み 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
蒸留技術に基づくスパース検索モデルで、OpenSearch向けに最適化されており、推論不要のドキュメントエンコーディングをサポートし、検索関連性と効率性においてV1版を上回ります
テキスト埋め込み
Transformers 英語

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
PubMedBERTに基づく生物医学エンティティ表現モデルで、自己アライメント事前学習により意味関係の捕捉を最適化します。
テキスト埋め込み 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Largeは強力なセンテンストランスフォーマーモデルで、文の類似度とテキスト埋め込みタスクに特化しており、複数のベンチマークテストで優れた性能を発揮します。
テキスト埋め込み 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 は英語の文章変換モデルで、文章類似度タスクに特化しており、複数のテキスト埋め込みベンチマークで優れた性能を発揮します。
テキスト埋め込み
Transformers 複数言語対応

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base は50以上の言語をサポートする多言語文埋め込みモデルで、文類似度計算などのタスクに適しています。
テキスト埋め込み
Transformers 複数言語対応

G
Alibaba-NLP
1.2M
246
Polybert
polyBERTは、完全に機械駆動の超高速ポリマー情報学を実現するための化学言語モデルです。PSMILES文字列を600次元の密なフィンガープリントにマッピングし、ポリマー化学構造を数値形式で表現します。
テキスト埋め込み
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
トルコ語BERTベースの文埋め込みモデルで、意味的類似性タスクに最適化
テキスト埋め込み
Transformers その他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
BAAI/bge-small-en-v1.5モデルを微調整したテキスト埋め込みモデルで、MEDIデータセットとMTEB分類タスクデータセットで訓練され、検索タスクのクエリエンコーディング能力を最適化しました。
テキスト埋め込み
Safetensors 英語
G
avsolatorio
945.68k
29
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98