My Awesome Mind Model

🚀 超棒的MIND模型

本模型是 facebook/wav2vec2-base 在 minds14 数据集上的微调版本。它在评估集上取得了如下结果：

• 损失值：2.6577
• 准确率：0.0619

🚀 快速开始

本指南将展示如何：

• 在 MInDS - 14 数据集上微调 Wav2Vec2 以对说话者意图进行分类。
• 使用微调后的模型进行推理。

本教程中演示的任务支持以下模型架构： Audio Spectrogram Transformer、Data2VecAudio、Hubert、SEW、SEW - D、UniSpeech、UniSpeechSat、Wav2Vec2、Wav2Vec2 - Conformer、WavLM、Whisper

在开始之前，请确保已安装所有必要的库：

pip install transformers datasets evaluate

建议登录 Hugging Face 账户，以便将模型上传并与社区共享。出现提示时，输入令牌进行登录：

from huggingface_hub import notebook_login

notebook_login()

✨ 主要特性

• 基于预训练模型 facebook/wav2vec2-base 进行微调，用于音频分类任务。
• 支持对说话者意图进行分类，在 MInDS - 14 数据集上进行了训练和评估。

📦 安装指南

安装必要库

pip install transformers datasets evaluate

安装指定版本（可选）

如果需要从源代码安装而不是使用最新版本，可以使用以下命令：

pip install git+https://github.com/huggingface/transformers.git

💻 使用示例

基础用法

加载数据集

from datasets import load_dataset, Audio

minds = load_dataset("PolyAI/minds14", name="en-US", split="train")
minds = minds.train_test_split(test_size=0.2)
minds = minds.remove_columns(["path", "transcription", "english_transcription", "lang_id"])

预处理数据

from transformers import AutoFeatureExtractor

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays, sampling_rate=feature_extractor.sampling_rate, max_length=16000, truncation=True
    )
    return inputs

encoded_minds = minds.map(preprocess_function, remove_columns="audio", batched=True)
encoded_minds = encoded_minds.rename_column("intent_class", "label")

评估指标

import evaluate

accuracy = evaluate.load("accuracy")

import numpy as np

def compute_metrics(eval_pred):
    predictions = np.argmax(eval_pred.predictions, axis=1)
    return accuracy.compute(predictions=predictions, references=eval_pred.label_ids)

训练模型

from transformers import AutoModelForAudioClassification, TrainingArguments, Trainer

num_labels = len(id2label)
model = AutoModelForAudioClassification.from_pretrained(
    "facebook/wav2vec2-base", num_labels=num_labels, label2id=label2id, id2label=id2label
)

training_args = TrainingArguments(
    output_dir="my_awesome_mind_model",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=3e-5,
    per_device_train_batch_size=32,
    gradient_accumulation_steps=4,
    per_device_eval_batch_size=32,
    num_train_epochs=10,
    warmup_ratio=0.1,
    logging_steps=10,
    load_best_model_at_end=True,
    metric_for_best_model="accuracy",
    push_to_hub=True,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=encoded_minds["train"],
    eval_dataset=encoded_minds["test"],
    tokenizer=feature_extractor,
    compute_metrics=compute_metrics,
)

trainer.train()
trainer.push_to_hub()

高级用法

推理

# 加载音频文件进行推理，记得根据需要重采样音频文件的采样率以匹配模型的采样率
from transformers import pipeline

# 实例化音频分类管道
classifier = pipeline("audio-classification", model="your_model_name_on_huggingface")
audio_file = "your_audio_file.wav"
result = classifier(audio_file)
print(result)

📚 详细文档

模型描述

用于微调的基础模型：facebook/wav2vec2-base

预期用途与限制

可用于熟悉预训练模型的微调过程，但并非适用于生产环境的模型。

训练和评估数据

训练数据集链接：https://huggingface.co/datasets/PolyAI/minds14 你也可以使用自己的数据，并对其进行预处理以用于训练。

训练过程

训练超参数

训练期间使用了以下超参数：

训练结果

框架版本

• Transformers 4.48.2
• Pytorch 2.5.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

🔧 技术细节

在训练过程中，使用了预训练的 facebook/wav2vec2-base 模型，并在 MInDS - 14 数据集上进行微调。通过设置合适的超参数，如学习率、批次大小等，使用 Trainer 类进行训练和评估。在预处理阶段，使用 AutoFeatureExtractor 对音频数据进行处理，确保输入数据的格式符合模型要求。同时，使用 evaluate 库加载准确率指标，在训练过程中对模型性能进行评估。

📄 许可证

本项目采用 Apache - 2.0 许可证。