Openba V1 Based

🚀 OpenBA - 开源双语语言模型

OpenBA是一个从0开始预训练的、开源的150亿参数双语非对称序列到序列模型，可用于文本生成等自然语言处理任务。

🚀 快速开始

安装依赖

pip install transformers torch>=2.0 sentencepiece

示例代码

>>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
>>> tokenizer = AutoTokenizer.from_pretrained("OpenBA/OpenBA-LM", trust_remote_code=True)
>>> model = AutoModelForSeq2SeqLM.from_pretrained("OpenBA/OpenBA-LM", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> query = "<S>" + "苏州处太湖平原，沿江为高沙平原，河" + "<extra_id_0>"
>>> inputs = tokenizer(query, return_tensors="pt").to("cuda")
>>> outputs = model.generate(**inputs, do_sample=True, max_new_tokens=32)
>>> response = tokenizer.decode(outputs[0], skip_special_tokens=True)
>>> print(response)
流两侧为河淤平原,苏州平原是江苏平原主体,地势低平,土地肥沃,气候温和

✨ 主要特性

我们很高兴推出模型的两个杰出版本，还有一个版本即将推出：

• OpenBA-LM：该基础语言模型在3400亿的英文、中文和代码标记上进行了预训练。
• OpenBA-Flan：我们使用收集的BiFlan数据集，在基础模型上额外使用400亿标记进行了监督微调。
• OpenBA-Chat：即将推出

📚 详细文档

模型描述

📄 许可证

本项目采用Apache 2.0许可证。