Armenian Text Embeddings 1

🚀 亚美尼亚文本嵌入模型 1

本项目提供了一个用于亚美尼亚语的文本嵌入模型，能够将亚美尼亚语的文本转换为密集向量表示，可广泛应用于检索增强生成、语义搜索等多个自然语言处理任务，为亚美尼亚语的相关应用提供了有力支持。

🚀 快速开始

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained('Metric-AI/armenian-text-embeddings-1')
model = AutoModel.from_pretrained('Metric-AI/armenian-text-embeddings-1')


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]


# Each input text should start with "query: " or "passage: ", even for non-English texts.
# For tasks other than retrieval, you can simply use the "query: " prefix.
input_texts = [
    'query: Ինչպե՞ս պատրաստել տոլմա',  # How to make tolma
    'query: Քանի՞ գրամ սպիտակուց է հարկավոր օրական',  # How many grams of protein needed daily
    
    """passage: Տոլմայի բաղադրատոմս՝
    Բաղադրիչներ՝
    - 500գ աղացած միս
    - 1 բաժակ բրինձ
    - Խաղողի տերևներ
    - 2 գլուխ սոխ
    - Համեմունքներ՝ աղ, սև պղպեղ, քարի
    
    Պատրաստման եղանակը՝
    1. Միսը խառնել բրնձի, մանր կտրատած սոխի և համեմունքների հետ
    2. Խաղողի տերևները լվանալ և թողնել տաք ջրի մեջ 10 րոպե
    3. Լցոնել տերևները և դասավորել կաթսայի մեջ
    4. Եփել դանդաղ կրակի վրա 45-60 րոպե""",  # Detailed tolma recipe
    
    """passage: Սպիտակուցի օրական չափաբաժինը կախված է մարդու քաշից, սեռից և ֆիզիկական ակտիվությունից: 
    Միջին հաշվով, կանանց համար խորհուրդ է տրվում 46-50 գրամ սպիտակուց օրական: 
    Մարզիկների համար այս թիվը կարող է հասնել մինչև 1.6-2 գրամ մարմնի քաշի յուրաքանչյուր կիլոգրամի համար: 
    Հղիների համար պահանջվում է լրացուցիչ 25 գրամ սպիտակուց:
    
    Սպիտակուցի հարուստ աղբյուրներ են՝
    - Հավի միս (31գ/100գ)
    - Ձու (13գ/100գ)
    - Ոսպ (25գ/100գ)
    - Մածուն (3.5գ/100գ)"""] # Detailed protein intake advice

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())

# [[83.96063232421875, 30.283924102783203], [32.504661560058594, 82.4246826171875]]

✨ 主要特性

• 支持检索增强生成（RAG）。
• 可进行亚美尼亚语的语义搜索。
• 能够计算文档相似度。
• 支持跨语言文本理解。
• 适用于文本分类任务和信息检索。

💻 使用示例

基础用法

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained('Metric-AI/armenian-text-embeddings-1')
model = AutoModel.from_pretrained('Metric-AI/armenian-text-embeddings-1')


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]


# Each input text should start with "query: " or "passage: ", even for non-English texts.
# For tasks other than retrieval, you can simply use the "query: " prefix.
input_texts = [
    'query: Ինչպե՞ս պատրաստել տոլմա',  # How to make tolma
    'query: Քանի՞ գրամ սպիտակուց է հարկավոր օրական',  # How many grams of protein needed daily
    
    """passage: Տոլմայի բաղադրատոմս՝
    Բաղադրիչներ՝
    - 500գ աղացած միս
    - 1 բաժակ բրինձ
    - Խաղողի տերևներ
    - 2 գլուխ սոխ
    - Համեմունքներ՝ աղ, սև պղպեղ, քարի
    
    Պատրաստման եղանակը՝
    1. Միսը խառնել բրնձի, մանր կտրատած սոխի և համեմունքների հետ
    2. Խաղողի տերևները լվանալ և թողնել տաք ջրի մեջ 10 րոպե
    3. Լցոնել տերևները և դասավորել կաթսայի մեջ
    4. Եփել դանդաղ կրակի վրա 45-60 րոպե""",  # Detailed tolma recipe
    
    """passage: Սպիտակուցի օրական չափաբաժինը կախված է մարդու քաշից, սեռից և ֆիզիկական ակտիվությունից: 
    Միջին հաշվով, կանանց համար խորհուրդ է տրվում 46-50 գրամ սպիտակուց օրական: 
    Մարզիկների համար այս թիվը կարող է հասնել մինչև 1.6-2 գրամ մարմնի քաշի յուրաքանչյուր կիլոգրամի համար: 
    Հղիների համար պահանջվում է լրացուցիչ 25 գրամ սպիտակուց:
    
    Սպիտակուցի հարուստ աղբյուրներ են՝
    - Հավի միս (31գ/100գ)
    - Ձու (13գ/100գ)
    - Ոսպ (25գ/100գ)
    - Մածուն (3.5գ/100գ)"""] # Detailed protein intake advice

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())

# [[83.96063232421875, 30.283924102783203], [32.504661560058594, 82.4246826171875]]

高级用法

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('Metric-AI/armenian-text-embeddings-1')

embeddings = model.encode(input_texts, normalize_embeddings=True)

📚 详细文档

模型详情

预期用途

主要预期用途

• 检索增强生成（RAG）
• 亚美尼亚语的语义搜索
• 文档相似度计算
• 跨语言文本理解
• 文本分类任务
• 信息检索

训练数据

数据集详情

• 来源：包含英语 - 亚美尼亚语翻译的Reddit数据集
• 规模：108万对行
• 内容类型：标题和正文文本对
• 分词统计：
  • 训练集：
    • 翻译后的标题分词：23,921,393
    • 翻译后的正文分词：194,200,654
  • 测试集：
    • 翻译后的标题分词：242,443
    • 翻译后的正文分词：1,946,164
• 划分比例：99%训练集，1%测试集

训练过程

训练详情

• 权重平均：
  • 基础模型（multilingual-e5-base）：权重0.6
  • 微调模型：权重0.4
• 训练时长：2天
• 硬件：4 x NVIDIA A100 40GB GPU
• 训练参数：
  • 轮数：5
  • 批次大小：每个GPU 256，总共（256 * 4）
  • 学习率：5e - 5
  • 权重衰减：0.01
  • 热身步数：1000
  • 最大序列长度：128个分词
  • FP16训练：启用
  • 梯度裁剪：1.0

优化配置

• 框架：DeepSpeed Stage 2
• 优化器：带有自动权重衰减的AdamW
• 混合精度：带有动态损失缩放的FP16
• ZeRO优化：Stage 2，具有以下特性：
  • 全收集分区
  • 重叠通信
  • 连续梯度
• 附加特性：
  • 梯度检查点
  • 张量并行（大小：2）

性能和局限性

能力

• 对亚美尼亚语的语义相似度任务有效。
• 适用于文档分类和聚类。

局限性

• 在特定领域术语上的性能可能会有所不同。
• 可能无法有效捕捉亚美尼亚语特定的文化背景。
• 受训练数据翻译质量的限制。

已知偏差

• 可能表现出Reddit内容中存在的偏差。

环境影响

• 训练硬件：4 x NVIDIA A100 40GB
• 训练时长：48小时
• 估计能耗：384 kWh（基于A100功耗估计）

伦理考量

• 数据隐私：训练数据来自公开的Reddit内容。
• 潜在滥用：可能被滥用于内容操纵或垃圾信息。
• 偏差：可能延续Reddit内容中存在的社会偏差。
• 建议：
  • 监控系统输出以检测有害内容。
  • 在生产使用中实施内容过滤。
  • 建议定期进行偏差评估。

技术规格

• 模型大小：约2.78亿个参数（基于e5-base）
• 嵌入维度：384
• 最大序列长度：128个分词
• 框架兼容性：
  • PyTorch
  • Hugging Face Transformers
  • DeepSpeed

引用

@misc{armenian-text-embeddings-1,
  author = {Spartak Bughdaryan, Zaruhi Navasardyan, Bagrat Minasyan, Hrant Davtyan},
  title = {Armenian-Text-Embeddings-1: Enhanced Armenian Language Embeddings},
  year = {2024},
  howpublished = {\url{https://metric.am/blog/announcing-armenian-text-embeddings/}}
}

附加信息

基础模型参考

• multilingual-e5-base: https://huggingface.co/intfloat/multilingual-e5-base

致谢

• 感谢intfloat提供原始的multilingual-e5-base模型。
• 感谢Reddit社区提供源内容。
• 感谢DeepSpeed团队提供优化工具包。

版本历史

• 1.0.0（2024年11月）：初始版本发布

📄 许可证

本模型使用Apache 2.0许可证。