Deepseek Llm Tiny Random

🚀 小型随机DeepSeek语言模型

本项目是一个随机初始化的模型，它借鉴了 deepseek-ai/deepseek-llm-67b-chat 的配置，但规模更小。该模型采用float16格式。

🚀 快速开始

模型说明

此模型随机初始化，使用了 deepseek-ai/deepseek-llm-67b-chat 的配置，不过规模更小。需要注意的是，该模型采用的是float16格式。

代码示例

import transformers
import torch
import os
from huggingface_hub import create_repo, upload_folder

source_model_id = 'deepseek-ai/deepseek-llm-67b-chat'
save_path = '/tmp/yujiepan/deepseek-llm-tiny-random'
repo_id = 'yujiepan/deepseek-llm-tiny-random'

config = transformers.AutoConfig.from_pretrained(
    source_model_id, trust_remote_code=True)
config.hidden_size = 2
config.intermediate_size = 4
config.num_attention_heads = 2
config.num_hidden_layers = 2
config.num_key_value_heads = 1

model = transformers.AutoModelForCausalLM.from_config(
    config, trust_remote_code=True)
model = model.half()
model.save_pretrained(save_path)

tokenizer = transformers.AutoTokenizer.from_pretrained(
    source_model_id, trust_remote_code=True)
tokenizer.save_pretrained(save_path)

result = transformers.pipelines.pipeline(
    'text-generation',
    model=model.float(), tokenizer=tokenizer)('Hello')
print(result)

os.system(f'ls -alh {save_path}')
create_repo(repo_id, exist_ok=True)
upload_folder(repo_id=repo_id, folder_path=save_path)

💻 使用示例

基础用法

import transformers
import torch
import os
from huggingface_hub import create_repo, upload_folder

source_model_id = 'deepseek-ai/deepseek-llm-67b-chat'
save_path = '/tmp/yujiepan/deepseek-llm-tiny-random'
repo_id = 'yujiepan/deepseek-llm-tiny-random'

config = transformers.AutoConfig.from_pretrained(
    source_model_id, trust_remote_code=True)
config.hidden_size = 2
config.intermediate_size = 4
config.num_attention_heads = 2
config.num_hidden_layers = 2
config.num_key_value_heads = 1

model = transformers.AutoModelForCausalLM.from_config(
    config, trust_remote_code=True)
model = model.half()
model.save_pretrained(save_path)

tokenizer = transformers.AutoTokenizer.from_pretrained(
    source_model_id, trust_remote_code=True)
tokenizer.save_pretrained(save_path)

result = transformers.pipelines.pipeline(
    'text-generation',
    model=model.float(), tokenizer=tokenizer)('Hello')
print(result)

os.system(f'ls -alh {save_path}')
create_repo(repo_id, exist_ok=True)
upload_folder(repo_id=repo_id, folder_path=save_path)

高级用法

上述代码已经涵盖了模型的基本使用流程，若有更复杂的需求，可根据实际情况调整 config 中的参数，例如修改 hidden_size、intermediate_size 等，以改变模型的规模和性能。

# 可根据实际情况修改以下参数
config.hidden_size = 4
config.intermediate_size = 8
# 其他代码保持不变

📚 详细文档

模型参数说明

代码功能说明

1. 导入必要的库：导入 transformers、torch、os 以及 huggingface_hub 中的相关函数。
2. 设置模型和保存路径：指定源模型ID、保存路径和仓库ID。
3. 配置模型参数：从源模型加载配置，并修改部分参数，如隐藏层大小、中间层大小等。
4. 创建模型和分词器：根据配置创建模型和分词器，并将模型转换为float16格式。
5. 保存模型和分词器：将模型和分词器保存到指定路径。
6. 进行文本生成：使用 transformers.pipelines.pipeline 进行文本生成，并打印结果。
7. 上传模型到Hugging Face：创建仓库并将保存的模型上传到Hugging Face。

注意事项

• 该模型是随机初始化的，可能无法生成有意义的文本。
• 模型采用float16格式，可减少内存占用，但可能会影响精度。