PULI GPT 3SX GGML

🚀 PULI GPT 3SX - GGML

このリポジトリは、GPT-NeoX形式のモデルファイルを提供しています。これらのモデルは、自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

• モデル作成者: NYTK
• オリジナルモデル: PULI GPT 3SX

✨ 主な機能

説明

このリポジトリには、NYTKのPULI GPT 3SX のGPT-NeoX GGML形式のモデルファイルが含まれています。

ただし、これらのGGMLファイルは llama.cpp、text-generation-webui、またはllama-cpp-pythonと互換性がありません。このGGMLモデルと互換性のあるツールのリストについては、以下を参照してください。

利用可能なリポジトリ

• 複数の量子化パラメータオプションを備えた、GPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、および8ビットのGGMLモデル
• GPU推論およびさらなる変換用の、NYTKの元の量子化されていないfp16モデル（pytorch形式）

プロンプトテンプレート: なし

{prompt}

互換性

これらのファイルは、llama.cpp、text-generation-webui、またはllama-cpp-pythonと 互換性がありません。

以下のツールで使用できます。

• KoboldCpp：llama.cppに基づく強力な推論エンジンで、完全なGPUアクセラレーションと良好なUIを備えています。
• LM Studio：WindowsとmacOSでのGGML推論用の完全機能のローカルGUI。
• LoLLMs-WebUI：ほぼすべてのバックエンドをサポートするWeb UI。このモデルをサポートするには、ctransformersバックエンドを使用してください。
• ctransformers：Pythonコードでの使用、LangChainサポートを含む。
• rustformers' llm
• ggml で提供される gpt-neox バイナリの例

他のオプションが利用可能になったら、ここを更新するよう努めます（見落としがあれば、コミュニティタブで教えてください！）

LoLLMs-WebUIの使用方法チュートリアル

• LoLLMs-WebUIの作者 ParisNeo によるビデオチュートリアル

提供されるファイル

注: 上記のRAM数値は、GPUオフロードがないことを前提としています。レイヤーをGPUにオフロードすると、RAM使用量が減少し、代わりにVRAMが使用されます。

💻 使用例

基本的な使用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

gen_tokens = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.9,
    max_length=100,
)

gen_text = tokenizer.batch_decode(gen_tokens)[0]
print(gen_text)

高度な使用法

from transformers import pipeline, GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

print(generator(prompt)[0]["generated_text"])

📚 ドキュメント

オリジナルのモデルカード: NYTKのPULI GPT 3SX

PULI GPT-3SX (67億パラメータ)

詳細については、デモサイト を参照してください。

• ハンガリー語のGPT-NeoXモデル (67億パラメータ)
• EleutherAIのGPT-NeoX github でトレーニング
• データセット: 363億語
• チェックポイント: 150,000ステップ

制限事項

• max_seq_length = 2048

引用

このモデルを使用する場合は、次の論文を引用してください。

@inproceedings {yang-puli,
    title = {Jönnek a nagyok! BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre},
    booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
    year = {2023},
    publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
    address = {Szeged, Hungary},
    author = {Yang, Zijian Győző and Dodé, Réka and Ferenczi, Gergő and Héja, Enikő and Jelencsik-Mátyus, Kinga and Kőrös, Ádám and Laki, László János and Ligeti-Nagy, Noémi and Vadász, Noémi and Váradi, Tamás},
    pages = {247--262}
}

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。

Discord

これらのモデルやAI全般に関するさらなるサポートと議論に参加するには、以下に参加してください。 TheBloke AIのDiscordサーバー

謝辞と貢献方法

chirper.ai チームに感謝します！

多くの人から貢献できるかどうか尋ねられました。私はモデルを提供し、人々を助けることが好きで、それにもっと時間を費やし、微調整/トレーニングなどの新しいプロジェクトにも進出したいと思っています。

貢献できる方は、大いに感謝します。これにより、より多くのモデルを提供し、新しいAIプロジェクトの作業を開始するのに役立ちます。

寄付者は、すべてのAI/LLM/モデルに関する質問や要求に対する優先サポート、プライベートDiscordルームへのアクセス、その他の特典を受けることができます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: CarbonQuillのLuke、Aemon Algiz。

Patreonで特別に言及: Ajan Kanaga、David Ziegler、Raymond Fosdick、SuperWojo、Sam、webtim、Steven Wood、knownsqashed、Tony Hughes、Junyu Yang、J、Olakabola、Dan Guido、Stephen Murray、John Villwock、vamX、William Sang、Sean Connelly、LangChain4j、Olusegun Samson、Fen Risland、Derek Yates、Karl Bernard、transmissions 11、Trenton Dambrowitz、Pieter、Preetika Verma、Swaroop Kallakuri、Andrey、Slarti、Jonathan Leane、Michael Levine、Kalila、Joseph William Delisle、Rishabh Srivastava、Deo Leter、Luke Pendergrass、Spencer Kim、Geoffrey Montalvo、Thomas Belote、Jeffrey Morgan、Mandus、ya boyyy、Matthew Berman、Magnesian、Ai Maven、senxiiz、Alps Aficionado、Luke @flexchar、Raven Klaugh、Imad Khwaja、Gabriel Puliatti、Johann-Peter Hartmann、usrbinkat、Spiking Neurons AB、Artur Olbinski、chris gileta、danny、Willem Michiel、WelcomeToTheClub、Deep Realms、alfie_i、Dave、Leonard Tan、NimbleBox.ai、Randy H、Daniel P. Andersen、Pyrater、Will Dee、Elle、Space Cruiser、Gabriel Tamborski、Asp the Wyvern、Illia Dulskyi、Nikolai Manek、Sid、Brandon Frisco、Nathan LeClaire、Edmond Seymore、Enrico Ros、Pedro Madruga、Eugene Pentland、John Detwiler、Mano Prime、Stanislav Ovsiannikov、Alex、Vitor Caleffi、K、biorpg、Michael Davis、Lone Striker、Pierre Kircher、theTransient、Fred von Graf、Sebastain Graf、Vadim、Iucharbius、Clay Pascal、Chadd、Mesiah Bishop、terasurfer、Rainer Wilmers、Alexandros Triantafyllidis、Stefan Sabev、Talal Aujan、Cory Kujawski、Viktor Bowallius、subjectnull、ReadyPlayerEmma、zynix

すべての寛大なパトロンと寄付者に感謝します！