Mamba 1.3b Chinese Chat V0.1

🚀 模型升級與應用展示

本項目通過獨特的方法將 765M 模型提升到 1.3B，增加到 82 層，顯著提升了模型性能。訓練的 Mamba 模型專注於中文，預訓練使用的基本都是優質中文書籍語料。如果你喜歡我們的模型，幫我們點個小心心吧！

🚀 快速開始

運行代碼

以下是使用該模型的代碼示例：

import sys
import torch
from transformers import LlamaTokenizer, MambaForCausalLM

device = "cuda"
model_path = sys.argv[1]
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = MambaForCausalLM.from_pretrained(model_path).to(device)

messages = []
while True:
    user_message = input("User: ")
    messages.append(dict(
        role="user",
        content=user_message
    ))

    input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

    out = model.generate(input_ids=input_ids, max_length=1000, temperature=0.7, do_sample=True,
                         penalty_alpha=0.8, top_k=5,
                         repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)

    decoded = tokenizer.batch_decode(out)
    messages.append(dict(
        role="assistant",
        content=decoded[0].split("<|assistant|>\n")[-1])
    )

    print("Model:", decoded[0].split("<|assistant|>\n")[-1])

💻 使用示例

基礎用法

以下是一些使用該模型生成文本的示例：

示例一：生成社論

以《中共中央國務院關於促進民營經濟發展壯大的意見》為題寫一篇社論,觀點新穎,內容豐富


以《中共中央國務院關於促進民營企業發展的意見》(簡稱《意見》)為主題,圍繞“民營經濟是國民經濟中一支不可忽視的力量”的主題展開討論。本主題旨在探討如何推動和保護民營經濟的發 展壯大,以及如何在發展中保障民營經濟的合法權益等問題。

一、明確目標:推動和保護非公有制經濟的發展與繁榮

《中共中央國務院關於支持民營企業發展的若干意見》指出,“鼓勵和支持非公有制經濟和國有中小企業發展,有利於激發民間投資活力、提高資源配置效率、增強國家競爭力。”這體現了我國對民營經濟的扶持政策。然而,在具體實施過程中,需要根據實際情況來制定具體的政策和措施。《意見》強調了以下幾點:

1. 堅持依法治國的基本方針,把發展非公經濟擺在首位;

2. 積極引導非公有制經濟發展;

3. 營造良好的社會氛圍,營造公平競爭的環境;

4. 對各類所有制經濟實行差別對待,區別對待;

5. 完善稅收制度和服務體系,促進市場主體有序發展;

6. 加強監管,確保市場秩序穩定健康運行。

二、《意見》的出臺時間及內容要求

1. 提出《意見》的時間範圍

《意見》將於 2020 年 9 月 1 日開始施行。這意味著,《意見》將在全國範圍內進行修訂,並逐步實施,以確保《意見》的貫徹落實。這一期限對於推動非公有制經濟的發展具有重要意義,有助於促進民營經濟健康快速發展。</s>

示例二：生成新聞

請以中國全球首次實現載人登陸火星為主題寫一篇新聞


以中國全球首創“載人登陸火星”主題的科技創新為契機,由中國國家航天局、中國科學院和中國工程院聯合主辦的 2016 年 5 月 14 日至 3 日在北京舉行的“2016 年度人類未來科技大會 - 中國國家科學 技術獎(2016)”揭曉。本次大會的主題是“人類命運共同體與可持續發展”。

此次大會的舉辦目的是為了慶祝中國國家航天局和中國的科學院於今年 7 月在四川省成都市成功發射了中國載人航天之夢號載人航天探測器——中國載人登陸探測器。這一事件將對中國在太空探 索領域的領先地位產生積極影響,進一步提升中國在航天事業中的影響力以及國際影響力。

中國載人登陸探測器的誕生具有里程碑意義:一是它標誌著人類第一次實現了地球同步軌道飛行;二是它為人類在空間探索領域提供了新工具和新方法。同時,它也表明中國人開始重視太空探索,並致力於推進人類進入星際旅行時代。

中國載人登陸探測器於 2016 年開始正式進行試飛測試,預計將在北京時間 9 月 16 日下午 18 點左右起飛。此次試運行期間,中國國家航天航空局、中國科學院和中國國家海洋局的科學家將密切合作,利用最新技術開展研究任務,共同探討載人登月計劃的發展前景及相關技術突破。這些進展將為未來人類登上月球做出貢獻。

此外,中國政府還將出資支持載人飛船項目和載人衛星發射項目,為中國載人的航天事業提供更多支持和幫助。屆時,“載人登陸探測船”也將作為載人登陸任務的重要組成部分而加入到載人登月 行動中。屆時,中國的載人航天事業將邁出堅實一步,成為繼蘇聯之後世界上第二個擁有自主研發的載人航天技術的文明。

最後,“載人登陸探測船”將成為載人登陸任務的有效工具,使載人在宇宙航行方面能夠更加高效便捷地執行各種任務。這將有助於推動各國在太空探索方面的競爭力和協作性,促進世界範圍內資 源共享和人類文明的繁榮發展。因此可以說,載人登陸探測器是中國航天事業的又一重大成就之一。

中國國家航天局與中國科學院將攜手努力,打造中國載人登陸探測器的先進研發平臺和技術能力。這不僅有助於提高載人登陸探險的科學性和實用性,更將使中國載人航天事業在未來更為成熟和科學化,最終造福人類。
注:本文原發表於《環球科學》雜誌 2016 年第 7 期。

摘要:“載人航天之父”楊振寧曾預言,“載人飛船”將在中國成為一項現實可行的技術。“載人飛船”(載人登陸探測器)將成為人類歷史上第一個真正意義上實現載人飛天的嘗試,對人類歷史發展進 程具有深遠影響。此次成功的“人類未來的科技大會與載人移民的盛會—中國國家航天局和中國國家航天局聯合發起的人類命運共同體與可持續發展和”主題活動無疑將給人們帶來全新的啟示與 期待。(來源:《中國科技日報》)