Llama 3.2 400M Amharic

🚀 Llama 3.2 400M Amharic

このモデルは、MetaのLlama - 3.2 - 1Bデコーダートランスフォーマーモデルの小型版です。単一のA100 40GB GPUを使用して23時間、アムハラ語の2億7400万トークンのテキストを用いてゼロから事前学習されています。

• 4億個のパラメータを持っています。
• このモデルのコンテキストサイズは1024トークンです。
• Llama - 3.2 - 1Bと同じトークナイザーを使用しており、モデルと同じアムハラ語データセットを用いてゼロから学習され、語彙サイズは32kです。
• 検証パープレキシティ：41.3
• これはベースモデルであり、まだ教師あり微調整は行われていません。

🚀 クイックスタート

📦 インストール

まず、最新バージョンのtransformersをインストールする必要があります。

pip install -Uq transformers

💻 使用例

基本的な使用法

このモデルは、テキスト生成パイプラインで直接使用することができます。

from transformers import pipeline

llama_am = pipeline(
    "text-generation",
    model="rasyosef/Llama-3.2-400M-Amharic",
    device_map="auto"
  )

prompt = "አዲስ አበባ"
llama_am(
    prompt,
    max_new_tokens=128,
    temperature=0.5,
    do_sample=True,
    top_k=8,
    top_p=0.8,
    repetition_penalty=1.2
  )

出力:

[{'generated_text': 'አዲስ አበባ፣ ታህሳስ 8 ፣2012 (ኤፍ ቢ ሲ) የኢፌዴሪ የውጭ ጉዳይ ሚኒስትር አቶ ገዱ አንዳርጋቸው ከአፍሪካ ህብረት የስራ አስፈጻሚዎች ምክር ቤት መደበኛ ስብሰባ ጎን ለጎን ከዴሞክራቲክ ሪፐብሊክ ኮንጎ አቻቸው ማሪ ቱምባ ንዜዛ እና ከሌሎች የአፍሪካ አምባሳደሮች ጋር ተወያይተዋል።በውይይታቸውም በአፍሪካ የኮሮና ቫይረስን ለመከላከል እየተከናወኑ ባሉ ስራዎች ዙሪያ መምከራቸውን በትዊተር ገጻቸው አስፍረዋል።የሁለቱን ሀገራት ግንኙነት በተመለከተም፥ ኢትዮጵያ በህብረቱ ቋሚ አምባሳደርነት ባላት ሀላፊነት ለሹመት ማቅረብዋ የሚደነቅ መሆኑንም አንስተዋል።ኢትዮጵያ የኮቪድ19 ወረርሽኝን ለመግታት እያደረገች ባለው ጥረት ለደቡብ አፍሪካ ምስጋና አቅርባም ነበር፤ ቫይረሱን ለመቆጣጠር ከኢትዮጵያ ምን እንደምትማር በዝርዝር ላቀረብንላቸው ጥያቄም ወደፊት በሚሰሩ የትብብር መስኮች ላይ ተነጋግረን መስራት እንፈልጋለን ብለዋል።በቀጣይም ሁለቱ'}]