Burmese GPT

🚀 ビルマGPT

ビルマGPTは、ビルマ語用に特化した大規模言語モデルです。GPT - 2アーキテクチャ、特にmGPT XLモデルをベースにファインチューニング/事前学習されています。このモデルは主にビルマ語の文章生成に使用され、ビルマ語の自然言語処理タスクのファインチューニングの基礎として機能します。

🚀 クイックスタート

モデルの使用方法

!pip install transformers

# モデルの読み込み:
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("WYNN747/Burmese-GPT")
model = AutoModelForCausalLM.from_pretrained("WYNN747/Burmese-GPT")

input_text = "မီးထွန်းပွဲတော်သည် သီ"
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output = model.generate(input_ids, max_length=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))


# [{'generated_text': 'မီးထွန်းပွဲတော် သည် သီတင်းကျွတ်လပြည့်နေ့တွင် ကျင်းပသော ရိုးရာပွဲတော်တစ်ခု ဖြစ်သည်။'}] 

✨ 主な機能

このモデルは主にビルマ語の文章生成を目的として設計されており、様々な自然言語処理タスクの基礎となるツールとして機能します。現在の主な機能は文章の生成と完成支援ですが、さらなる応用可能性も大きいです。研究者や開発者は、このモデルを専用のデータセットでファインチューニングすることで、要約や命令ベースのタスクなど、他の自然言語処理アプリケーションに拡張することができます。

📦 インストール

!pip install transformers

📚 ドキュメント

意図された使用方法

このモデルは主にビルマ語の文章生成に使用され、様々な自然言語処理タスクの基礎となるツールとして機能します。ただし、重要な決定や特定の分野の専門用語の理解に関しては、精度と信頼性を確保するために、モデルの追加の専門的なトレーニングが推奨されます。

トレーニングデータ

ビルマGPTは、著者によって作成された包括的なビルマ語テキストのデータセットでトレーニングされています。このデータセットには、文学、ニュース、オンライン記事、ビルマ語版ウィキペディアのコンテンツが含まれており、ビルマ語の言語的多様性とスタイルを幅広く表現するように細心の注意を払って編集されています。著者によって作成されたこのデータセットは、学術および研究目的で申請により利用可能です。関心のある方は、著者に連絡してこの貴重なリソースにアクセスすることができます。

倫理的な考慮事項

ユーザーは、言語モデルに固有の制限とバイアスに注意する必要があります。このモデルは、特に敏感なアプリケーションでは、責任を持って使用する必要があり、誤解を招くまたは有害なコンテンツを生成する目的で使用されることを意図していません。

制限事項

ビルマGPTは一般的なビルマ語テキストでは良好な性能を発揮しますが、高度に技術的またはニッチなコンテンツではそれほど効果的でない場合があります。ユーザーは、特定の使用事例について十分なテストを行うことをお勧めします。

連絡先情報

• LinkedIn: Dr. Wai Yan Nyein Naing
• GitHub: WaiYanNyeinNaing

謝辞

[mgpt - XLモデル](https://github.com/ai - forever/mgpt)の作成者に感謝と敬意を表します。彼らの貢献は、ビルマGPTの開発に欠かせないものでした。

よくある質問 (ビルマ語)

ビルマGPT 🇲🇲に関連するよくある質問 (FAQ) を説明しています。

1. ビルマGPTはビルマChat - GPTですか？

• ビルマGPTは質問/回答を行うために構築されたチャットアプリケーションではありません。
• 「Text Completion」と呼ばれる、自分が与えた文章を続けて書いてくれる言語モデルです。

2. ビルマGPT (文章生成) モデルは何を目的としていますか？

• ミャンマーに関連する質問や事柄をミャンマー語で尋ねることができるアプリケーションを構築するために、ミャンマー語の文章を正しく構築できる基礎となる言語モデルが必要です。 現在オープンソースで提供されているビルマGPT (文章生成) モデルは、ミャンマー語の文章を正しく構築できるAI言語モデルです。 このようなモデルを基に、
• ビルマChat - GPTのような質問と回答を行うアプリケーション、
• ミャンマー語の文章を要約するアプリケーション、
• ミャンマー語で詩や文章を書いてくれるアプリケーションを構築することができます。

3. ビルマGPTをリンクされたプラットフォームで試すとき、なぜ文章が完全に表示されないのですか？ 答え:

• Hugging Faceプラットフォームが表示できる単語数に制限があるため、完全に表示されないことがあります。 生成した文章が完成していない場合は、現在到達している文章を再度計算するボタンを押してください。 文章全体を試したい場合は、APIを呼び出して試すことができます。

4. ビルマGPTはどのようなデータを使用してトレーニングされていますか？

• ビルマGPTは、オープンアクセス可能なミャンマー語版ウィキペディアとオープンなミャンマーデータベースのデータでトレーニングされているため、ミャンマー語の多くの単語を理解しています。
• 作家やアーティストの知的財産である本、歌詞、情報を使用していないため、それらに関連する情報を文章生成 (文章を続けて書こうとすると) すると、正確ではなく、AIが創造した内容のみが出力されます。
• (もしアーティストとして、自分が作成した作品や情報をビルマGPTに追加したい場合は、連絡して貢献することができます)

5. ビルマGPTで使用されているデータセットを使用したい場合は、何が必要ですか？

• 合計15Kのビルマ語テキスト (コーパス) を含むデータセットは、学術/研究/オープンコミュニティのために貢献することを目的としています。 (自分が行っているプロジェクト/論文/学位論文の情報を持って著者に連絡することができます)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。