Openba V1 Based

🚀 OpenBA - 開源雙語語言模型

OpenBA是一個從0開始預訓練的、開源的150億參數雙語非對稱序列到序列模型，可用於文本生成等自然語言處理任務。

🚀 快速開始

安裝依賴

pip install transformers torch>=2.0 sentencepiece

示例代碼

>>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
>>> tokenizer = AutoTokenizer.from_pretrained("OpenBA/OpenBA-LM", trust_remote_code=True)
>>> model = AutoModelForSeq2SeqLM.from_pretrained("OpenBA/OpenBA-LM", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> query = "<S>" + "蘇州處太湖平原，沿江為高沙平原，河" + "<extra_id_0>"
>>> inputs = tokenizer(query, return_tensors="pt").to("cuda")
>>> outputs = model.generate(**inputs, do_sample=True, max_new_tokens=32)
>>> response = tokenizer.decode(outputs[0], skip_special_tokens=True)
>>> print(response)
流兩側為河淤平原,蘇州平原是江蘇平原主體,地勢低平,土地肥沃,氣候溫和

✨ 主要特性

我們很高興推出模型的兩個傑出版本，還有一個版本即將推出：

• OpenBA-LM：該基礎語言模型在3400億的英文、中文和代碼標記上進行了預訓練。
• OpenBA-Flan：我們使用收集的BiFlan數據集，在基礎模型上額外使用400億標記進行了監督微調。
• OpenBA-Chat：即將推出

📚 詳細文檔

模型描述

📄 許可證

本項目採用Apache 2.0許可證。