Roberta Amharic Embed Medium
R
Roberta Amharic Embed Medium
由 yosefw 开发
基于RoBERTa架构的Amharic语言句子转换器,用于句子相似度计算和特征提取。
下载量 15
发布时间 : 2/18/2025
模型简介
该模型专门针对Amharic语言优化,能够将句子转换为高维向量表示,用于句子相似度计算、语义搜索等任务。
模型特点
Amharic语言优化
专门针对Amharic语言进行训练和优化,能够更好地处理该语言的语义特征。
双损失函数训练
采用MatryoshkaLoss和MultipleNegativesRankingLoss两种损失函数进行训练,提高模型性能。
大规模训练数据
基于54,900条数据训练,具有较强的泛化能力。
模型能力
句子向量化
语义相似度计算
特征提取
语义搜索
使用案例
信息检索
新闻相似性分析
分析不同新闻文章之间的语义相似度
可有效识别报道同一事件的不同新闻
内容推荐
相关内容推荐
基于语义相似度推荐相关内容
提高用户内容发现效率
🚀 阿姆哈拉语中等文本嵌入RoBERTa模型
本模型基于 sentence-transformers 框架,在JSON数据集上对 rasyosef/roberta-medium-amharic 进行微调。它能够将句子和段落映射到512维的密集向量空间,可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。
✨ 主要特性
- 多任务支持:可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。
- 高效映射:能将句子和段落高效映射到512维的密集向量空间。
- 微调优化:在JSON数据集上对基础模型进行微调,提升了模型在特定任务上的性能。
📦 安装指南
首先,安装Sentence Transformers库:
pip install -U sentence-transformers
💻 使用示例
基础用法
安装完成后,你可以加载该模型并进行推理:
from sentence_transformers import SentenceTransformer
# 从🤗 Hub下载模型
model = SentenceTransformer("yosefw/roberta-amharic-embed-medium")
# 进行推理
sentences = [
'አቶ ደመቀ መኮንን ከፕሬዚዳንት ዩዌሪ ሙሴቬኒ ጋር ተወያዩ',
'የኡጋንዳው ፕሬዚ ዳንት ዩዌሪ ካጉታ ሙሴቬኒ ኢንቴቤ ከተማ በሚገኘው ጽሕፈት ቤታቸው ምክትል ጠቅላይ ሚኒስትር አቶ ደመቀ መኮንንን ተቀብለው በቀጣናዊ ትብብር እና በሁለትዮሽ ግንኙነት ዙሪያ አነጋግረዋል። አቶ ደመቀ እና ፕሬዚዳንት ሙሴቬኒ ውይይታቸው በቀጣናዊ ትብብር እና በሁለትዮሽ ግንኙነት ዙሪያ ያተኮረ እንደነበር ከምክትል ጠቅላይ ሚኒስትር ጽሕፈት ቤት የተገኘው መረጃ ያመለክታል። በተለያዩ መስኮች ለረጅም ዓመታት የዘለቀው የኢትዮጵያ እና የዑጋንዳ የሁለትዮሽ ግንኙነት የበለጠ ተጠናክሮ እንዲቀጥል መግባባት ላይ መድረሳቸውም መረጃው ጠቁሟል፡፡ ሁለቱ አገራት በቀጣናው በሚስተዋሉ ወቅታዊ ጉዳዮች ላይም የተወያዩ ሲሆን በቀጣይ በቀጣናው ትብብራቸውን ለማጥበቅ በሚችሉበት አግባብ ዙሪያም ተስማምተዋል። በመጨረሻም ከኢፌዴሪ ጠቅላይ ሚኒስትር ዶክተር አብይ አህመድ የተላከውን የትብብር መልዕክት ፕሬዚዳንት ሙሴቬኒ ከምክትል ጠቅ ላይ ሚኒስትር አቶ ደመቀ እጅ ተቀብለዋል።አዲስ ዘመን ግንቦት 7/2011',
'. በአምስት ክፍለ ከተሞች 121 ሚሊዮን 365ሺ 398 ብር ጉድለት ተመዝግቧልአዲስ አበባ፡- በተጠናቀቀው በጀት ዓመት የመጀመሪያው ስድስት ወራት የሂሳብ ጉድለት ከነበረባቸው\n59 ተቋማት ውስጥ 32ቱ 66 ነጥብ 7ሚሊዮን ብር ለአስተዳደሩ ተመላሽ ማድረግ አቶ ደመቀ መኮንን ከፕሬዚዳንት ዩዌሪ ሙሴቬኒ ጋር ተወያዩ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]
# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 详细文档
模型详情
模型描述
属性 | 详情 |
---|---|
模型类型 | 句子转换器 |
基础模型 | rasyosef/roberta-medium-amharic |
最大序列长度 | 510个标记 |
输出维度 | 512维 |
相似度函数 | 余弦相似度 |
训练数据集 | json |
语言 | 英语 |
许可证 | apache-2.0 |
模型来源
- 文档:Sentence Transformers文档
- 仓库:GitHub上的Sentence Transformers
- Hugging Face:Hugging Face上的Sentence Transformers
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 510, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 512, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
评估指标
信息检索
- 数据集:
dim_512
、dim_256
和dim_128
- 使用
InformationRetrievalEvaluator
进行评估
指标 | dim_512 | dim_256 | dim_128 |
---|---|---|---|
cosine_accuracy@1 | 0.6064 | 0.5998 | 0.5849 |
cosine_accuracy@3 | 0.7597 | 0.7562 | 0.7395 |
cosine_accuracy@5 | 0.8057 | 0.8013 | 0.7857 |
cosine_accuracy@10 | 0.8531 | 0.8503 | 0.8398 |
cosine_precision@1 | 0.6064 | 0.5998 | 0.5849 |
cosine_precision@3 | 0.2532 | 0.2521 | 0.2465 |
cosine_precision@5 | 0.1611 | 0.1603 | 0.1571 |
cosine_precision@10 | 0.0853 | 0.085 | 0.084 |
cosine_recall@1 | 0.6064 | 0.5998 | 0.5849 |
cosine_recall@3 | 0.7597 | 0.7562 | 0.7395 |
cosine_recall@5 | 0.8057 | 0.8013 | 0.7857 |
cosine_recall@10 | 0.8531 | 0.8503 | 0.8398 |
cosine_ndcg@10 | 0.7316 | 0.7271 | 0.7132 |
cosine_mrr@10 | 0.6925 | 0.6874 | 0.6726 |
cosine_map@100 | 0.697 | 0.6918 | 0.6774 |
训练详情
训练数据集
json
- 数据集:json
- 大小:54,900个训练样本
- 列:
anchor
和positive
- 基于前1000个样本的近似统计信息:
anchor positive 类型 字符串 字符串 详情 - 最小:4个标记
- 平均:16.66个标记
- 最大:73个标记
- 最小:34个标记
- 平均:321.89个标记
- 最大:510个标记
- 样本:
anchor positive የተመድ ልማት ፕሮግራም ኃላፊ ‹‹ርካሽ ጉልበት›› ብዝበዛ ማለት አይደለም ሲሉ አሳሰቡ
ዓመታዊው የተባበሩት መንግሥታት ድርጅት (ተመድ) የሰብዓዊ ልማት ሪፖርትን ለመላው ዓለም ከኢትዮጵያ ይፋ ለማድረግ በአፍሪካ ኢኮኖሚክ ኮሚሽን አዳራሽ ለጋዜጠኞች በሰጡት መግለጫ፣ አገሮች ርካሽ ጉልበትን እንደ መልካም የኢንቨስትመንት ዕድል ሲያስተዋውቁ የጉልበት ብዝበዛ እንዳይፈጸም መጠንቀቅ እንዳለባቸው የፕሮግራሙ ኃላፊ አሳሰቡ፡፡ በተመድ የልማት ፕሮግራም አድሚንስትሬተር ሔለን ክላርክ በአዲስ አበባ ተገኝተው ከጠቅላይ ሚኒስትር ኃይለ ማርያም ደሳለኝ ጋር በመሆን፣ እ.ኤ.አ. የ2015 የሰብዓዊ ልማት ሪፖርትን ይፋ አድርገዋል፡፡ ሪፖርቱን በ25ኛ ዓመቱ መባቻ ላይ ‹‹ሥራ›› ላይ ያተኮረው የተመድ ልማት ፕሮግራም፣ እንደ ኢትዮጵያ ያሉ አገሮች የውጭ ኢንቨስትመንትን ለመሳብ በማለት ርካሽ ጉልበትን መስህብ ሲያደርጉት ይታያል ብሏል፡፡ የኢትዮጵያ ኢንቨስትመንት ኮሚሽን ደግሞ በወር ከሃምሳ ዶላር ያልበለጠ ደመወዝ እየተከፈላቸው የሚሠሩ ሠራተኞች ያሉባት አገር በመሆኗ፣ ለኢንቨስትመንት ምቹ ከሚያደርጓት መካከል አንዱ እንደሆነ ይገልጻል፡፡በአንፃሩ የተመድ የሰብዓዊ ልማት ‹‹ሥራ ለሰብዓዊ ልማት›› በሚል ርዕስ ይፋ ባደረገው ሪፖርት ለሰው ልጅ ተስማሚ የኑሮ ከባቢ ሁኔታ ለመፍጠር የሚያስችል ሥራ የደመወዝ ክፍያ እንዲከፈል የሚያሳስበው የተመድ የልማት ፕሮግራም፣ በቀን ከሁለት ዶላር በታች የሚያገኙ ሰዎች ከ830 ሚሊዮን በላይ እንደሆኑ፣ 200 ሚሊዮን ሰዎች (74 ሚሊዮን ወጣቶችን ጨምሮ) ሥራ አጥ እንደሆኑና 21 ሚሊዮን ሰዎች በመላው ዓለም በግዳጅ ጉልበታቸው እየተበዘበዘ እንደሚሠሩ በሪፖርቱ ጠቁሟል፡፡ሔለን ክላርክ ከሪፖርተር ለቀረበላቸው ጥያቄ በሰጡት ማብራሪያ፣ እንደ ኢትዮጵያ ያሉ አገሮች ለልማት ካላቸው ፍላጎትና ዓላማ በመነሳት፣ ሀብታቸውን በመጠቀም ለማደግ የሚያደርጉት እ...
ሦስት የወጣት ማዕከላትለወረዳ አስተዳደር ቢሮነት እያገለገሉ ነው
፡- በአዲስ አበባ የሚገኙ የሦስት ወረዳዎች የወጣት ማዕከላት ለወረዳ አስተዳደር ቢሮነት በመዋላቸው ለወጣቱ ተገቢውን አገልግሎት እየሰጡ አለመሆኑ ተገለጸ። በአዲስ አበባ
ከተማ የወጣቶችና በጎ ፈቃድ ማስተባበሪያ ቢሮ የወጣት ማዕከላት አገልግሎት ማስተባበሪያ ክትትል ቡድን መሪ አቶ ጤናዬ ታምሩ ለጋዜጣው ሪፖርተር እንዳሉት፤ የካ ክፍለከተማ ወረዳ አራት፣ ቦሌ ክፍለከተማ ወረዳ ዘጠኝ እና ኮልፌ ቀራንዮ ክፍለከተማ ወረዳ ሁለት የሚገኙ ወጣት ማዕከላት ለወረዳ አስተዳደሩ ቢሮነት እያለገሉ ይገኛሉ። በዚህም ለወጣቱ የተፈለገውን አገልግሎት እየሰጡ አይደለም። እንደ አቶ ጤናዬ ገለፃ፤ ወረዳዎቹ የሥልጠና፣ የሥራና የቢሮ ጥበት ሲኖር ወጣት ማዕከል ውስጥ የሚገኙ ክፍሎችን ይወስዳሉ።ችግሩን ለመፍታት ለወረዳ አስተዳደሮቹ ደብዳቤ በመፃፍና በአካል ተገናኝቶ ውይይት ተደርጓል። ወረዳዎቹ እድሳት ላይ ስላለን ታገሱን የሚል መልስ ብቻ በመስጠት እስካሁን ሊለቁ አልቻሉም። በኮልፌ ቀራንዮ ወረዳ ሁለት ወጣት ማዕከሉን የወረዳው አስተዳደር ለቢሮነት እየተጠቀመበት ይገኛል። እንዲወጡ ሲጠየቁ አዲስ ሕንፃ እያስገነባን በመሆኑ እስኪያልቅ ጠብቁ የሚል ምላሽ ሰጥተዋል። እነዚህ ችግሮች ወጣት ማዕከላቱ ቀልጣፋ አገልግሎት እንዳይሰጡ አድርጓቸው። ወጣት ማዕከላት ሲገነቡ በዋነኛነት ለወጣቱ አገልግሎት ለመስጠት ነው የሚሉት አቶ ጤናዬ፤ ነገር ግን ከባለሙያ እጥረትና በግብዓት ችግር ምክንያት በአግባቡ አገልግሎት የማይሰጥባቸው አካባቢዎች እንዳሉ አመልክተዋል። ማዕከላቱ ሲመሰረቱ ለወጣቱ አገልግሎት ለመስጠት ታስቦ በመሆኑ ባላቸው ሀብት አገልግሎት እየሰጡ መሆናቸውን ተናግረዋል። እንደ አቶ ጤናዬ አባባል፤ ወጣት ማዕከላት መዝናኛ ቦታዎች አይደሉም። በማዕከላቱ የሚሰጡ አገልግሎቶች የወጣቱን ሰብዕና የሚገነቡ፣ ክ...ፍርድ ቤቱ አቃቤ ህግ በአቶ እስክንድር ነጋ፣ ስንታየሁ ቸኮልና ቀለብ ስዩም ላይ በ15 ቀናት ውስጥ ክስ እንዲመሰርት ብይን ሰጠ
አዲስ አበባ ፣ ነሀሴ 12 ፣ 2012 (ኤፍ.ቢ.ሲ) በፌደራል የመጀመሪያ ደረጃ ፍርድ ቤት አራዳ ምድብ የጊዜ ቀጠሮ ተረኛ ችሎት አቃቤ ህግ በአቶ እስክንድር ነጋ፣ ስንታየሁ ቸኮልና ቀለብ ስዩም ላይ በ15 ቀናት ውስጥ ክስ እንዲመሰርት ቤት ክስ እስከምመሰርት ድረስም ተጠርጣሪዎች በማረፊያ ቤት ይቆዩልኝ ብሎ አቃቤ ህግ ፍርድ ቤቱን ጠይቋል። ተጠርጣሪዎች በበኩላቸው ክስ እስከሚመሰረትብን ድረስ በዋስ ወጥተን በውጭ እንከታተል ሲሉ ያመለከቱ ሲሆን አቃቤ ህግ ተጠርጣሪዎቹ ስልጣን ባለው ፍርድ ቤት ክስ ሲመሰረት የተጠረጠሩበት ወንጀል ዋስትና የሚያስከለክል በመሆኑ በማረፊያ ቤት እንዲቆዩልኝ ሲል የዋስትና ጥያቄውን ተቃውሟል። ጉዳዩን የተከታተለው ፍርድ ቤትም ተጠርጣሪዎች ክስ እስከሚመሰረት ድረስ በማረፊያ ቤት እንዲቆዩ እና አቃቤ ህግ በ15 ቀናት ውስጥ ክስ እንዲመሰርት ብይን ሰጥቷል። በታሪክ አዱኛ
训练超参数
非默认超参数
eval_strategy
: epochper_device_train_batch_size
: 128per_device_eval_batch_size
: 128num_train_epochs
: 5lr_scheduler_type
: cosinewarmup_ratio
: 0.1warmup_steps
: 128seed
: 7fp16
: Trueload_best_model_at_end
: Trueoptim
: adamw_torch_fusedbatch_sampler
: no_duplicates
训练日志
点击展开
轮次 | 步数 | 训练损失 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 | dim_128_cosine_ndcg@10 |
---|---|---|---|---|---|
0.0233 | 10 | 9.1016 | - | - | - |
0.0466 | 20 | 6.8595 | - | - | - |
0.0699 | 30 | 3.7458 | - | - | - |
0.0932 | 40 | 2.1717 | - | - | - |
0.1166 | 50 | 1.6285 | - | - | - |
0.1399 | 60 | 1.4191 | - | - | - |
0.1632 | 70 | 1.3239 | - | - | - |
0.1865 | 80 | 1.2764 | - | - | - |
0.2098 | 90 | 1.2911 | - | - | - |
0.2331 | 100 | 0.9839 | - | - | - |
0.2564 | 110 | 0.9846 | - | - | - |
0.2797 | 120 | 0.9378 | - | - | - |
0.3030 | 130 | 0.9877 | - | - | - |
0.3263 | 140 | 0.8801 | - | - | - |
0.3497 | 150 | 0.7835 | - | - | - |
0.3730 | 160 | 0.9266 | - | - | - |
0.3963 | 170 | 0.8028 | - | - | - |
0.4196 | 180 | 0.7941 | - | - | - |
0.4429 | 190 | 0.9154 | - | - | - |
0.4662 | 200 | 0.7713 | - | - | - |
0.4895 | 210 | 0.8394 | - | - | - |
0.5128 | 220 | 0.6808 | - | - | - |
0.5361 | 230 | 0.8229 | - | - | - |
0.5594 | 240 | 0.754 | - | - | - |
0.5828 | 250 | 0.6846 | - | - | - |
0.6061 | 260 | 0.654 | - | - | - |
0.6294 | 270 | 0.6779 | - | - | - |
0.6527 | 280 | 0.7524 | - | - | - |
0.6760 | 290 | 0.7035 | - | - | - |
0.6993 | 300 | 0.7074 | - | - | - |
0.7226 | 310 | 0.7195 | - | - | - |
0.7459 | 320 | 0.7114 | - | - | - |
0.7692 | 330 | 0.7034 | - | - | - |
0.7925 | 340 | 0.7215 | - | - | - |
0.8159 | 350 | 0.7972 | - | - | - |
0.8392 | 360 | 0.6519 | - | - | - |
0.8625 | 370 | 0.5815 | - | - | - |
0.8858 | 380 | 0.6173 | - | - | - |
0.9091 | 390 | 0.7119 | - | - | - |
0.9324 | 400 | 0.5555 | - | - | - |
0.9557 | 410 | 0.6487 | - | - | - |
0.9790 | 420 | 0.5884 | - | - | - |
1.0 | 429 | - | 0.6765 | 0.6637 | 0.6426 |
1.0023 | 430 | 0.5769 | - | - | - |
1.0256 | 440 | 0.3428 | - | - | - |
1.0490 | 450 | 0.3752 | - | - | - |
1.0723 | 460 | 0.3136 | - | - | - |
1.0956 | 470 | 0.3438 | - | - | - |
1.1189 | 480 | 0.3555 | - | - | - |
1.1422 | 490 | 0.3432 | - | - | - |
1.1655 | 500 | 0.3415 | - | - | - |
1.1888 | 510 | 0.3693 | - | - | - |
1.2121 | 520 | 0.378 | - | - | - |
1.2354 | 530 | 0.376 | - | - | - |
1.2587 | 540 | 0.3382 | - | - | - |
1.2821 | 550 | 0.3868 | - | - | - |
1.3054 | 560 | 0.3229 | - | - | - |
1.3287 | 570 | 0.3524 | - | - | - |
1.3520 | 580 | 0.3313 | - | - | - |
1.3753 | 590 | 0.3217 | - | - | - |
1.3986 | 600 | 0.3376 | - | - | - |
1.4219 | 610 | 0.3152 | - | - | - |
1.4452 | 620 | 0.371 | - | - | - |
1.4685 | 630 | 0.3504 | - | - | - |
1.4918 | 640 | 0.3587 | - | - | - |
1.5152 | 650 | 0.3845 | - | - | - |
1.5385 | 660 | 0.3603 | - | - | - |
1.5618 | 670 | 0.4026 | - | - | - |
1.5851 | 680 | 0.3427 | - | - | - |
1.6084 | 690 | 0.3474 | - | - | - |
1.6317 | 700 | 0.3202 | - | - | - |
1.6550 | 710 | 0.3335 | - | - | - |
1.6783 | 720 | 0.3546 | - | - | - |
1.7016 | 730 | 0.2896 | - | - | - |
1.7249 | 740 | 0.3368 | - | - | - |
1.7483 | 750 | 0.3252 | - | - | - |
1.7716 | 760 | 0.3595 | - | - | - |
1.7949 | 770 | 0.3046 | - | - | - |
1.8182 | 780 | 0.2953 | - | - | - |
1.8415 | 790 | 0.3228 | - | - | - |
1.8648 | 800 | 0.2896 | - | - | - |
1.8881 | 810 | 0.3256 | - | - | - |
1.9114 | 820 | 0.3419 | - | - | - |
1.9347 | 830 | 0.3416 | - | - | - |
1.9580 | 840 | 0.3574 | - | - | - |
1.9814 | 850 | 0.3426 | - | - | - |
2.0 | 858 | - | 0.7042 | 0.6981 | 0.6829 |
2.0047 | 860 | 0.2701 | - | - | - |
2.0280 | 870 | 0.1818 | - | - | - |
2.0513 | 880 | 0.1507 | - | - | - |
2.0746 | 890 | 0.1597 | - | - | - |
2.0979 | 900 | 0.1576 | - | - | - |
2.1212 | 910 | 0.1624 | - | - | - |
2.1445 | 920 | 0.1974 | - | - | - |
2.1678 | 930 | 0.1907 | - | - | - |
2.1911 | 940 | 0.1719 | - | - | - |
2.2145 | 950 | 0.1748 | - | - | - |
2.2378 | 960 | 0.16 | - | - | - |
2.2611 | 970 | 0.1819 | - | - | - |
2.2844 | 980 | 0.1779 | - | - | - |
2.3077 | 990 | 0.1491 | - | - | - |
2.3310 | 1000 | 0.1912 | - | - | - |
2.3543 | 1010 | 0.158 | - | - | - |
2.3776 | 1020 | 0.1599 | - | - | - |
2.4009 | 1030 | 0.1564 | - | - | - |
2.4242 | 1040 | 0.1879 | - | - | - |
2.4476 | 1050 | 0.1704 | - | - | - |
2.4709 | 1060 | 0.163 | - | - | - |
2.4942 | 1070 | 0.1787 | - | - | - |
2.5175 | 1080 | 0.1797 | - | - | - |
2.5408 | 1090 | 0.1572 | - | - | - |
2.5641 | 1100 | 0.1649 | - | - | - |
2.5874 | 1110 | 0.2056 | - | - | - |
2.6107 | 1120 | 0.159 | - | - | - |
2.6340 | 1130 | 0.1787 | - | - | - |
2.6573 | 1140 | 0.1511 | - | - | - |
2.6807 | 1150 | 0.1838 | - | - | - |
2.7040 | 1160 | 0.1361 | - | - | - |
2.7273 | 1170 | 0.1507 | - | - | - |
2.7506 | 1180 | 0.1661 | - | - | - |
2.7739 | 1190 | 0.1704 | - | - | - |
2.7972 | 1200 | 0.166 | - | - | - |
2.8205 | 1210 | 0.1508 | - | - | - |
2.8438 | 1220 | 0.1914 | - | - | - |
2.8671 | 1230 | 0.1508 | - | - | - |
2.8904 | 1240 | 0.1432 | - | - | - |
2.9138 | 1250 | 0.1875 | - | - | - |
2.9371 | 1260 | 0.1695 | - | - | - |
2.9604 | 1270 | 0.1899 | - | - | - |
2.9837 | 1280 | 0.1693 | - | - | - |
3.0 | 1287 | - | 0.7175 | 0.7098 | 0.6956 |
3.0070 | 1290 | 0.1361 | - | - | - |
3.0303 | 1300 | 0.1007 | - | - | - |
3.0536 | 1310 | 0.0901 | - | - | - |
3.0769 | 1320 | 0.1143 | - | - | - |
3.1002 | 1330 | 0.0981 | - | - | - |
3.1235 | 1340 | 0.0972 | - | - | - |
3.1469 | 1350 | 0.1046 | - | - | - |
3.1702 | 1360 | 0.0983 | - | - | - |
3.1935 | 1370 | 0.1066 | - | - | - |
3.2168 | 1380 | 0.1119 | - | - | - |
3.2401 | 1390 | 0.1012 | - | - | - |
3.2634 | 1400 | 0.0882 | - | - | - |
3.2867 | 1410 | 0.1068 | - | - | - |
3.3100 | 1420 | 0.091 | - | - | - |
3.3333 | 1430 | 0.098 | - | - | - |
3.3566 | 1440 | 0.1232 | - | - | - |
3.3800 | 1450 | 0.1024 | - | - | - |
3.4033 | 1460 | 0.0888 | - | - | - |
3.4266 | 1470 | 0.1071 | - | - | - |
3.4499 | 1480 | 0.1158 | - | - | - |
3.4732 | 1490 | 0.1117 | - | - | - |
3.4965 | 1500 | 0.1168 | - | - | - |
3.5198 | 1510 | 0.1 | - | - | - |
3.5431 | 1520 | 0.1305 | - | - | - |
3.5664 | 1530 | 0.0898 | - | - | - |
3.5897 | 1540 | 0.1134 | - | - | - |
3.6131 | 1550 | 0.1055 | - | - | - |
3.6364 | 1560 | 0.1135 | - | - | - |
3.6597 | 1570 | 0.1261 | - | - | - |
3.6830 | 1580 | 0.1028 | - | - | - |
3.7063 | 1590 | 0.073 | - | - | - |
3.7296 | 1600 | 0.1051 | - | - | - |
3.7529 | 1610 | 0.1117 | - | - | - |
3.7762 | 1620 | 0.1204 | - | - | - |
3.7995 | 1630 | 0.093 | - | - | - |
3.8228 | 1640 | 0.1058 | - | - | - |
3.8462 | 1650 | 0.1028 | - | - | - |
3.8695 | 1660 | 0.0978 | - | - | - |
3.8928 | 1670 | 0.1085 | - | - | - |
3.9161 | 1680 | 0.1105 | - | - | - |
3.9394 | 1690 | 0.0873 | - | - | - |
3.9627 | 1700 | 0.1103 | - | - | - |
3.9860 | 1710 | 0.1221 | - | - | - |
4.0 | 1716 | - | 0.7279 | 0.7239 | 0.7097 |
4.0093 | 1720 | 0.0859 | - | - | - |
4.0326 | 1730 | 0.0891 | - | - | - |
4.0559 | 1740 | 0.0838 | - | - | - |
4.0793 | 1750 | 0.0931 | - | - | - |
4.1026 | 1760 | 0.0818 | - | - | - |
4.1259 | 1770 | 0.0912 | - | - | - |
4.1492 | 1780 | 0.1031 | - | - | - |
4.1725 | 1790 | 0.0973 | - | - | - |
4.1958 | 1800 | 0.0853 | - | - | - |
4.2191 | 1810 | 0.0843 | - | - | - |
4.2424 | 1820 | 0.1039 | - | - | - |
4.2657 | 1830 | 0.1163 | - | - | - |
4.2890 | 1840 | 0.0748 | - | - | - |
4.3124 | 1850 | 0.0817 | - | - | - |
4.3357 | 1860 | 0.0841 | - | - | - |
4.3590 | 1870 | 0.094 | - | - | - |
4.3823 | 1880 | 0.0858 | - | - | - |
4.4056 | 1890 | 0.1025 | - | - | - |
4.4289 | 1900 | 0.0989 | - | - | - |
4.4522 | 1910 | 0.0834 | - | - | - |
4.4755 | 1920 | 0.0674 | - | - | - |
4.4988 | 1930 | 0.1034 | - | - | - |
4.5221 | 1940 | 0.0817 | - | - | - |
4.5455 | 1950 | 0.0763 | - | - | - |
4.5688 | 1960 | 0.0956 | - | - | - |
4.5921 | 1970 | 0.0776 | - | - | - |
4.6154 | 1980 | 0.0961 | - | - | - |
4.6387 | 1990 | 0.0887 | - | - | - |
4.6620 | 2000 | 0.0807 | - | - | - |
4.6853 | 2010 | 0.0771 | - | - | - |
4.7086 | 2020 | 0.0835 | - | - | - |
4.7319 | 2030 | 0.0913 | - | - | - |
4.7552 | 2040 | 0.0866 | - | - | - |
4.7786 | 2050 | 0.0797 | - | - | - |
4.8019 | 2060 | 0.091 | - | - | - |
4.8252 | 2070 | 0.0925 | - | - | - |
4.8485 | 2080 | 0.0934 | - | - | - |
4.8718 | 2090 | 0.093 | - | - | - |
4.8951 | 2100 | 0.0786 | - | - | - |
4.9184 | 2110 | 0.0862 | - | - | - |
4.9417 | 2120 | 0.0934 | - | - | - |
4.9650 | 2130 | 0.097 | - | - | - |
4.9883 | 2140 | 0.0687 | - | - | - |
5.0 | 2145 | - | 0.7316 | 0.7271 | 0.7132 |
- 加粗行表示保存的检查点。
框架版本
- Python: 3.11.11
- Sentence Transformers: 3.4.1
- Transformers: 4.49.0
- PyTorch: 2.6.0+cu124
- Accelerate: 1.3.0
- Datasets: 3.3.1
- Tokenizers: 0.21.0
🔧 技术细节
损失函数
训练过程中使用了 MatryoshkaLoss
损失函数,其参数如下:
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
512,
256,
128
],
"matryoshka_weights": [
1,
1,
1
],
"n_dims_per_step": -1
}
📄 许可证
本模型采用apache-2.0许可证。
引用
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98