Myanmargpt

🚀 Myanmar - GPT

ミャンマー語（ビルマ語）に対応したGPT - Myanmar GPT

Myanmar GPTは、MinSiThuによって作成された非公開のミャンマー語データセットを使用して訓練されたモデルです。このプロジェクトの目的は、GPT2モデルでミャンマー語を使用できるようにすることです。

MyanmarGPTモデルをファインチューニングすることで、他の言語モデルを使用するよりもカスタムミャンマー語モデルを簡単に構築することができます。

MyanmarGPTモデルの訓練に関するレポートは、MyanmarGPT Reportで視覚化されています。

ビルマ語対応モデルのバリアントは、https://github.com/MinSiThu/MyanmarGPTで見つけることができます。

また、多言語対応の14.2億パラメータのMyanmarGPT - Bigモデルもあります。こちらで見つけることができます。

現在、Myanmar GPTには4つの主要なバリアントバージョンがあります。

• MyanmarGPT
• MyanmarGPT - Big
• MyanmarGPT - Chat
• MyanmarGPTX

🚀 クイックスタート

📦 インストール

!pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

generator = pipeline(model="jojo-ai-mst/MyanmarGPT")
outputs = generator("အီတလီ",do_sample=False)

print(outputs)
# [{'generated_text': 'အီတလီနိုင်ငံသည် ဥရောပတိုက်၏ တောင်ဘက်တွင် မြေထဲပင်လယ်ထဲသို့ ထိုးထွက်နေသော ကျွန်းဆွယ်ကြီးတစ်ခုဖြစ်၍ ပုံသဏ္ဌာန်အားဖြင့် မြင်းစီးဖိနပ်နှင့် တူလေသည်။ မြောက်ဘက်မှ တောင်ဘက်အငူစွန်းအထိ မိုင်ပေါင်း ၇၅ဝ ခန့် ရှည်လျား၍၊ ပျမ်းမျှမိုင် ၁ဝဝ မှ ၁၂ဝ ခန့်ကျယ်သည်။ အီတလီနိုင်ငံ၏ အကျယ်အဝန်းမှာ ဆာဒင်းနီးယားကျွန်း၊ စစ္စလီကျွန်းနှင့် အနီးပတ်ဝန်းကျင်ရှိ ကျွန်းကလေးများ အပါအဝင် ၁၁၆,၃၅၀ စတုရန်းမိုင်ရှိသည်။ '}]

高度な使用法

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

model = GPT2LMHeadModel.from_pretrained("jojo-ai-mst/MyanmarGPT")
tokenizer = GPT2Tokenizer.from_pretrained("jojo-ai-mst/MyanmarGPT")

def generate_text(prompt, max_length=300, temperature=0.8, top_k=50):
    input_ids = tokenizer.encode(prompt, return_tensors="pt").cuda() # remove .cude() if only cpu
    output = model.generate(
        input_ids,
        max_length=max_length,
        temperature=temperature,
        top_k=top_k,
        pad_token_id=tokenizer.eos_token_id,
        do_sample=True
    )
    for result in output:
      generated_text = tokenizer.decode(result, skip_special_tokens=True)
      print(generated_text)

generate_text("အီတလီ ")

📚 ドキュメント

ミャンマー語と人工知能のロードマップ

私はMyanmarGPTを始めました。これはミャンマーに大きな影響を与えています。そのため、私はこのプロジェクトをMyanmarGPT Movementと呼ばれる運動として続けています。MyanmarGPT Movementは、誰もがミャンマーでAIプロジェクトを始めるためのものです。

ライセンスに関するガイドライン

• MyanmarGPTは誰でも無料で使用できます。

• 必須事項

  • MyanmarGPTから派生/ファインチューニングされたプロジェクト、内部でMyanmarGPTを使用したプロジェクト、またはMyanmarGPTを修正したプロジェクトで、MyanmarGPTに関連するものは、対応するプロジェクトのページに以下の引用を記載しなければなりません。

• 引用

@software{MyanmarGPT,
  author = {{MinSiThu}},
  title = {MyanmarGPT},
  version={1.1-SweptWood}
  url = {https://huggingface.co/jojo-ai-mst/MyanmarGPT},
  urldate = {2023-12-14}
  date = {2023-12-14},
}

連絡先は、https://www.linkedin.com/in/min-si-thu/ からお問い合わせください。

📄 ライセンス

このプロジェクトは、creativeml - openrail - mライセンスの下でライセンスされています。