Llama 3.2 400M Amharic
這是一個基於Meta公司Llama-3.2-1B模型的精簡版本,專門針對阿姆哈拉語進行預訓練,包含4億參數,上下文長度為1024個標記。
下載量 310
發布時間 : 11/26/2024
模型概述
該模型是一個解碼器變壓器模型,專門用於阿姆哈拉語的文本生成任務,未經過監督微調。
模型特點
阿姆哈拉語優化
使用2.74億個阿姆哈拉語文本標記進行預訓練,專門優化了阿姆哈拉語的文本生成能力。
精簡模型
基於Llama-3.2-1B模型的精簡版本,參數規模為4億,適合在單塊A100 40GB顯卡上運行。
高效訓練
在單塊A100 40GB顯卡上僅用23小時完成預訓練,驗證困惑度為41.3。
模型能力
阿姆哈拉語文本生成
長文本生成(1024標記上下文長度)
使用案例
文本生成
新聞摘要生成
根據阿姆哈拉語新聞標題生成新聞摘要
生成連貫且符合語境的新聞內容
對話系統
用於阿姆哈拉語聊天機器人的回覆生成
生成自然流暢的對話回覆
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98