Gemma Ko 7b

🚀 Gemma-Ko

Gemma-Ko是基於Google輕量級前沿開源模型Gemma開發的模型，適用於多種文本生成任務，能在資源有限的環境中部署，助力用戶使用先進AI技術進行創新。

🚀 快速開始

要快速開始運行該模型，首先確保安裝了必要的庫，然後根據你的使用場景複製相應的代碼片段。

安裝依賴

pip install -U transformers

在CPU上運行模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b")

input_text = "머신러닝과 딥러닝의 차이는"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

在單GPU或多GPU上運行模型

pip install accelerate

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b", device_map="auto")

input_text = "머신러닝과 딥러닝의 차이는"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

其他優化

Flash Attention 2

首先確保在你的環境中安裝 flash-attn：

pip install flash-attn

model = AutoModelForCausalLM.from_pretrained(
    "beomi/gemma-ko-7b", 
    torch_dtype=torch.float16, 
+   attn_implementation="flash_attention_2"
).to(0)

✨ 主要特性

• 輕量級模型：Gemma是Google開發的輕量級前沿開源模型家族，基於與Gemini模型相同的研究和技術構建。
• 多語言支持：支持韓語和英語，適用於多種文本生成任務。
• 資源友好：相對較小的模型尺寸使其能夠在資源有限的環境中部署，如筆記本電腦、臺式機或個人雲基礎設施。

📚 詳細文檔

模型信息

描述

Gemma是Google推出的輕量級前沿開源模型家族，基於與Gemini模型相同的研究和技術構建。它們是僅解碼器的大語言模型，支持英文，具有開放的權重、預訓練變體和指令微調變體。Gemma模型適用於多種文本生成任務，包括問答、摘要和推理。其相對較小的尺寸使其能夠在資源有限的環境中部署，如筆記本電腦、臺式機或個人雲基礎設施，使更多人能夠使用先進的AI模型，促進創新。

輸入和輸出

• 輸入：文本字符串，如問題、提示或待摘要的文檔。
• 輸出：針對輸入生成的韓語或英語文本，如問題的答案或文檔的摘要。

實現信息

訓練使用了 beomi/Gemma-EasyLM。

評估

基準測試結果

待確定。

使用和限制

預期用途

開源大語言模型（LLMs）在各個行業和領域都有廣泛的應用。以下是一些潛在用途的列表，但並不全面。該列表的目的是提供有關模型創建者在模型訓練和開發過程中考慮的可能用例的上下文信息。

• 內容創作和交流
  • 文本生成：這些模型可用於生成創意文本格式，如詩歌、劇本、代碼、營銷文案和電子郵件草稿。
• 研究和教育
  • 自然語言處理（NLP）研究：這些模型可以作為研究人員試驗NLP技術、開發算法和推動該領域發展的基礎。
  • 語言學習工具：支持交互式語言學習體驗，幫助進行語法糾正或提供寫作練習。
  • 知識探索：通過生成摘要或回答特定主題的問題，幫助研究人員探索大量文本。

限制

• 訓練數據
  • 訓練數據的質量和多樣性會顯著影響模型的能力。訓練數據中的偏差或差距可能導致模型響應的侷限性。
  • 訓練數據集的範圍決定了模型能夠有效處理的主題領域。
• 上下文和任務複雜性
  • 大語言模型更擅長可以用清晰提示和說明來描述的任務。開放式或高度複雜的任務可能具有挑戰性。
  • 模型的性能可能會受到提供的上下文量的影響（在一定程度上，更長的上下文通常會導致更好的輸出）。
• 語言歧義與細微差別
  • 自然語言本質上是複雜的。大語言模型可能難以理解微妙的細微差別、諷刺或比喻性語言。
• 事實準確性
  • 大語言模型根據從訓練數據集中學到的信息生成響應，但它們不是知識庫。它們可能會生成不正確或過時的事實陳述。
• 常識
  • 大語言模型依賴於語言中的統計模式。它們可能在某些情況下缺乏應用常識推理的能力。

倫理考慮和風險

大語言模型（LLMs）的開發引發了一些倫理問題。在創建開源模型時，我們仔細考慮了以下方面：

• 偏差與公平性
  • 在大規模真實世界文本數據上訓練的大語言模型可能反映訓練材料中嵌入的社會文化偏差。這些模型經過了仔細審查，本卡片中描述了輸入數據預處理和後續評估情況。
• 錯誤信息與濫用
  • 大語言模型可能被濫用來生成虛假、誤導或有害的文本。
  • 提供了負責任使用模型的指南，請參閱 Responsible Generative AI Toolkit。
• 透明度與問責制
  • 本模型卡片總結了模型的架構、能力、限制和評估過程的詳細信息。
  • 負責任開發的開源模型為AI生態系統中的開發者和研究人員提供了共享創新的機會，使他們能夠使用大語言模型技術。

識別的風險和緩解措施：

• 偏差的延續：鼓勵在模型訓練、微調等使用場景中進行持續監控（使用評估指標、人工審查）並探索去偏技術。
• 有害內容的生成：內容安全機制和指南至關重要。鼓勵開發者根據其特定的產品政策和應用用例謹慎行事並實施適當的內容安全保障措施。
• 惡意用途的濫用：技術限制以及對開發者和最終用戶的教育可以幫助減輕大語言模型的惡意應用。提供了教育資源和用戶報告濫用的機制。Gemma模型的禁止使用情況在 Gemma Prohibited Use Policy 中列出。
• 隱私侵犯：模型在經過過濾以去除個人身份信息（PII）的數據上進行訓練。鼓勵開發者遵守隱私法規並採用隱私保護技術。

致謝

訓練得到了 TPU Research Cloud 項目的支持。

引用

@misc {gemma_ko_7b,
	author       = { {Junbum Lee, Taekyoon Choi} },
	title        = { gemma-ko-7b },
	year         = 2024,
	url          = { https://huggingface.co/beomi/gemma-ko-7b },
	doi          = { 10.57967/hf/1859 },
	publisher    = { Hugging Face }
}

模型開發者

Junbum Lee (Beomi) & Taekyoon Choi (Taekyoon)

原始Gemma模型頁面

Gemma

資源和技術文檔

• 原始Google的Gemma-7B
• 訓練代碼 @ Github: Gemma-EasyLM

使用條款

Terms

📄 許可證

許可證名稱：gemma-terms-of-use 許可證鏈接：https://ai.google.dev/gemma/terms