Mamba 1.3b Chinese Chat V0.1

🚀 Solarによるモデル拡張とMambaモデルの紹介

このプロジェクトでは、Solarの独自手法を用いて765Mモデルを1.3Bに拡張し、層数を82層に増やすことで、モデルの性能を大幅に向上させています。また、訓練したMambaモデルは中国語に特化しており、pretrainには主に質の高い中国語の書籍コーパスを使用しています。もしこのモデルが気に入ったら、スターをつけていただけると幸いです！

🚀 クイックスタート

コードの実行方法

以下のコードを使用することで、モデルを使用した対話を行うことができます。

import sys
import torch
from transformers import LlamaTokenizer, MambaForCausalLM

device = "cuda"
model_path = sys.argv[1]
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = MambaForCausalLM.from_pretrained(model_path).to(device)

messages = []
while True:
    user_message = input("User: ")
    messages.append(dict(
        role="user",
        content=user_message
    ))

    input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

    out = model.generate(input_ids=input_ids, max_length=1000, temperature=0.7, do_sample=True,
                         penalty_alpha=0.8, top_k=5,
                         repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)

    decoded = tokenizer.batch_decode(out)
    messages.append(dict(
        role="assistant",
        content=decoded[0].split("<|assistant|>\n")[-1])
    )

    print("Model:", decoded[0].split("<|assistant|>\n")[-1])

💻 使用例

基本的な使用法

以下は、モデルを使用して社論やニュースを生成する具体的な例です。

以《中共中央国务院关于促进民营经济发展壮大的意见》为题写一篇社论,观点新颖,内容丰富


以《中共中央国务院关于促进民营企业发展的意见》(简称《意见》)为主题,围绕“民营经济是国民经济中一支不可忽视的力量”的主题展开讨论。本主题旨在探讨如何推动和保护民营经济的发 展壮大,以及如何在发展中保障民营经济的合法权益等问题。

一、明确目标:推动和保护非公有制经济的发展与繁荣

《中共中央国务院关于支持民营企业发展的若干意见》指出,“鼓励和支持非公有制经济和国有中小企业发展,有利于激发民间投资活力、提高资源配置效率、增强国家竞争力。”这体现了我国对民营经济的扶持政策。然而,在具体实施过程中,需要根据实际情况来制定具体的政策和措施。《意见》强调了以下几点:

1. 坚持依法治国的基本方针,把发展非公经济摆在首位;

2. 积极引导非公有制经济发展;

3. 营造良好的社会氛围,营造公平竞争的环境;

4. 对各类所有制经济实行差别对待,区别对待;

5. 完善税收制度和服务体系,促进市场主体有序发展;

6. 加强监管,确保市场秩序稳定健康运行。

二、《意见》的出台时间及内容要求

1. 提出《意见》的时间范围

《意见》将于2020年9月1日开始施行。这意味着,《意见》将在全国范围内进行修订,并逐步实施,以确保《意见》的贯彻落实。这一期限对于推动非公有制经济的发展具有重要意义,有助于促进民营经济健康快速发展。</s>

请以中国全球首次实现载人登陆火星为主题写一篇新闻


以中国全球首创“载人登陆火星”主题的科技创新为契机,由中国国家航天局、中国科学院和中国工程院联合主办的2016年5月14日至3日在北京举行的“2016年度人类未来科技大会-中国国家科学 技术奖(2016)”揭晓。本次大会的主题是“人类命运共同体与可持续发展”。

此次大会的举办目的是为了庆祝中国国家航天局和中国的科学院于今年7月在四川省成都市成功发射了中国载人航天之梦号载人航天探测器——中国载人登陆探测器。这一事件将对中国在太空探 索领域的领先地位产生积极影响,进一步提升中国在航天事业中的影响力以及国际影响力。

中国载人登陆探测器的诞生具有里程碑意义:一是它标志着人类第一次实现了地球同步轨道飞行;二是它为人类在空间探索领域提供了新工具和新方法。同时,它也表明中国人开始重视太空探索,并致力于推进人类进入星际旅行时代。

中国载人登陆探测器于2016年开始正式进行试飞测试,预计将在北京时间9月16日下午18点左右起飞。此次试运行期间,中国国家航天航空局、中国科学院和中国国家海洋局的科学家将密切合作,利用最新技术开展研究任务,共同探讨载人登月计划的发展前景及相关技术突破。这些进展将为未来人类登上月球做出贡献。

此外,中国政府还将出资支持载人飞船项目和载人卫星发射项目,为中国载人的航天事业提供更多支持和帮助。届时,“载人登陆探测船”也将作为载人登陆任务的重要组成部分而加入到载人登月 行动中。届时,中国的载人航天事业将迈出坚实一步,成为继苏联之后世界上第二个拥有自主研发的载人航天技术的文明。

最后,“载人登陆探测船”将成为载人登陆任务的有效工具,使载人在宇宙航行方面能够更加高效便捷地执行各种任务。这将有助于推动各国在太空探索方面的竞争力和协作性,促进世界范围内资 源共享和人类文明的繁荣发展。因此可以说,载人登陆探测器是中国航天事业的又一重大成就之一。

中国国家航天局与中国科学院将携手努力,打造中国载人登陆探测器的先进研发平台和技术能力。这不仅有助于提高载人登陆探险的科学性和实用性,更将使中国载人航天事业在未来更为成熟和科学化,最终造福人类。
注:本文原发表于《环球科学》杂志2016年第7期。

摘要:“载人航天之父”杨振宁曾预言,“载人飞船”将在中国成为一项现实可行的技术。“载人飞船”(载人登陆探测器)将成为人类历史上第一个真正意义上实现载人飞天的尝试,对人类历史发展进 程具有深远影响。此次成功的“人类未来的科技大会与载人移民的盛会—中国国家航天局和中国国家航天局联合发起的人类命运共同体与可持续发展和”主题活动无疑将给人们带来全新的启示与 期待。(来源:《中国科技日报》)