Openba V1 Based

🚀 OpenBA

OpenBAは、ゼロから事前学習されたオープンソースの15Bバイリンガル非対称Seq2Seqモデルです。

🚀 クイックスタート

OpenBAは、オープンソースの15Bバイリンガル非対称Seq2Seqモデルで、ゼロから事前学習されています。以下に、モデルの使用方法を説明します。

✨ 主な機能

• オープンソースの15Bバイリンガル非対称Seq2Seqモデル
• 英語と中国語の両方での事前学習
• マルチリンガル学習の可能性も提供

📦 インストール

必要なパッケージをインストールするには、以下のコマンドを実行してください。

pip install transformers torch>=2.0 sentencepiece

💻 使用例

基本的な使用法

>>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
>>> tokenizer = AutoTokenizer.from_pretrained("OpenBA/OpenBA-LM", trust_remote_code=True)
>>> model = AutoModelForSeq2SeqLM.from_pretrained("OpenBA/OpenBA-LM", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> query = "<S>" + "苏州处太湖平原，沿江为高沙平原，河" + "<extra_id_0>"
>>> inputs = tokenizer(query, return_tensors="pt").to("cuda")
>>> outputs = model.generate(**inputs, do_sample=True, max_new_tokens=32)
>>> response = tokenizer.decode(outputs[0], skip_special_tokens=True)
>>> print(response)
流两侧为河淤平原,苏州平原是江苏平原主体,地势低平,土地肥沃,气候温和

📚 ドキュメント

オープンソース計画

私たちは、2つの優れたモデルバージョンを公開することを嬉しく思います。さらにもう1つのバージョンも間もなく登場します。

• OpenBA-LM: バックボーンの言語モデルは、340Bの英語、中国語、およびコードトークンで事前学習されています。
• OpenBA-Flan: 収集したBiFlanデータセットを使用して、ベースモデルに追加の40Bトークンで教師あり微調整を行っています。
• OpenBA-Chat: 近日公開

モデルの説明

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。