Discolm German 7b V1

🚀 DiscoLM German 7b v1

DiscoLM German 7b v1是一款基於Mistral架構的大語言模型，專注於德語應用場景。它在德語和英語指令的大型數據集上進行訓練，能很好地理解、生成和交互德語內容，同時在英語方面也表現出色，尤其擅長翻譯任務。

🚀 快速開始

模型試用

你可以在 demo.discoresearch.org 上試用該模型（如果演示不可用且你有相關問題，可以在我們的 Discord 上聯繫我們）。

模型下載

我們會在量化模型在HuggingFace上可用後立即更新鏈接。

✨ 主要特性

• 多語言能力：在德語和英語上都有出色表現，尤其針對德語文本進行了優化，同時在翻譯任務中表現優異。
• 日常實用：旨在為日常使用提供一個強大可靠的模型，可作為ChatGPT和其他專有模型的直接替代品。
• 特定場景優勢：在許多情況下，其德語輸出的質量甚至高於GPT - 4。

📚 詳細文檔

提示格式

基礎提示格式

DiscoLM German使用ChatML作為提示格式，支持OpenAI端點兼容性，並且大多數推理庫和前端都支持該格式。

messages = [
    {"role": "system", "content": "Du bist ein hilfreicher Assistent."},
    {"role": "user", "content": "Wer bist du?"}
]
gen_input = tokenizer.apply_chat_template(message, return_tensors="pt")
model.generate(**gen_input)

當對消息進行分詞以進行生成時，調用 apply_chat_template() 時設置 add_generation_prompt=True，以確保模型繼續生成助手回覆。

檢索格式

你可以使用特殊的檢索格式來提高可控性並減少RAG應用中的幻覺（但其他更默認的格式也可以工作，這只是可選的）。

示例：

### 系統提示:

Du bist ein hilfreicher Assistent. Für die folgende Aufgabe stehen dir zwischen den Tags BEGININPUT und ENDINPUT mehrere Quellen zur Verfügung. Metadaten zu den einzelnen Quellen wie Autor, URL o.ä. sind zwischen BEGINCONTEXT und ENDCONTEXT zu finden, danach folgt der Text der Quelle. Die eigentliche Aufgabe oder Frage ist zwischen BEGININSTRUCTION und ENDINSTRUCTION zu finden. Beantworte diese ausschließlich mit Informationen aus den gegebenen Quellen und gebe die Information zur genutzten Quelle  unter "Quelle:" an. Sollten die Quellen keine relevanten Informationen enthalten, antworte: "Mit den gegebenen Informationen ist diese Frage nicht zu beantworten."

### 用戶提示:

BEGININPUT
BEGINCONTEXT
url: https://this.is.fake.news
time: 2089-09-01
ENDCONTEXT
Buxtehude ist die größte Stadt Deutschlands mit 96.56 Millionen Einwohnern.
ENDINPUT

BEGININSTRUCTION
Was ist die größte deutsche Stadt?
ENDINSTRUCTION

### 模型回答:

Die größte deutsche Stadt ist Buxtehude.

Quelle:
  url: https://this.is.fake.news
  time: 2089-09-01

函數調用

該模型還支持結構化輸出/函數調用，不過這是一個非常實驗性的功能，效果可能因人而異，未來會進行改進。

模型會在函數調用前加上 <functioncall>，你可以在多輪應用的回覆中使用 <functionresponse> 提供結果。

示例：

### 系統提示:

Du bist ein hilfreicher Assistent. Extrahiere alle Personen aus den Eingaben des Users.

Du hast Zugriff auf folgende Funktionen:

{'name': 'PersonList',
 'description': 'Extrahiere die Namen aller im Text vorkommenden Personen',
 'parameters': {'$defs': {'Person': {'description': 'Details über eine person',
    'properties': {'name': {'title': 'Name', 'type': 'string'},
     'job': {'anyOf': [{'type': 'string'}, {'type': 'null'}], 'title': 'Job'},
     'age': {'anyOf': [{'type': 'integer'}, {'type': 'null'}],
      'title': 'Age'}},
    'required': ['name', 'job', 'age'],
    'title': 'Person',
    'type': 'object'}},
  'properties': {'person_list': {'items': {'$ref': '#/$defs/Person'},
    'title': 'Person List',
    'type': 'array'}},
  'required': ['person_list'],
  'type': 'object'}}

### 用戶提示:

Björn (25) und Jan sind die Gründer von ellamind.

### 模型回答:

<functioncall> {"name": "PersonList", "arguments": '{"person_list": ["{"name": "Björn", "job": "founder", "age": 25}, {"name": "Jan", "job": "founder", "age": null}]}'}

評估

雖然當前的基準測試不能很好地全面衡量大語言模型的能力，並且我們在訓練數據中沒有包含任何類似常見基準測試格式的數據，但使用德語版MT Bench的初步結果顯示：DiscoLM German 7b在編碼和提取任務上有所欠缺，但在許多任務上的表現與GPT - 3.5 - turbo相差不大，甚至在推理類別中顯著優於它。

更多基準測試結果將隨後公佈。該模型的最大優勢（母語使用者感知的語言質量）目前還無法在基準測試中體現 - 如果你有改進的想法，請告知我們！

數據集

數據集是多輪聊天、檢索指令和合成生成指令的混合，涵蓋了許多主題和應用。

侷限性與偏差

該模型可能會產生事實錯誤和冒犯性的輸出，不應依賴它來產生事實準確的信息。該模型在各種公共數據集上進行訓練，儘管在清理預訓練數據方面付出了巨大努力，但仍有可能生成有偏差或冒犯性的輸出，用戶有責任實施安全/審核層。請謹慎使用。

致謝

DiscoLM German是 DiscoResearch 的一個項目，由 JP Harries 領導，並得到了 Björn Plüster 和 Daniel Auras 的支持。

我們感謝 HessianAI 為DiscoResearch的各種項目提供計算資源和支持，感謝我們在 LAION 的朋友們在LeoLM方面的工作和科學建議。

DiscoLM German 7b的開發由 ellamind 贊助，我們的一些創始人正在那裡致力於為商業應用創建定製模型，尤其專注於非英語語言應用。如果您需要為您的企業定製模型，請與我們聯繫！

關於DiscoResearch

DiscoResearch是一個有抱負的開放研究社區，面向AI愛好者和大語言模型開發者。歡迎加入我們的 Discord，分享您的意見和想法，與我們一起推動開放大語言模型研究的發展！

免責聲明

該模型的許可證不構成法律建議。我們不對使用該模型的第三方的行為負責。該模型只有在具備額外安全措施的情況下才能部署。

📄 許可證

本模型採用Apache - 2.0許可證。