Git 20

🚀 git_20

このモデルは、Microsoft GITを1台のNvidia A100 - 80G GPUでファインチューニングしたものです。300万件の学生課題から教師のフィードバックが含まれる10万件の学生課題を抽出して訓練データとして使用しています。訓練データは学生課題の画像部分と教師フィードバックのテキスト部分に分けられています。git_20は18層で1億7000万を超えるパラメータを持ち、最大0.7ギガバイトのディスク領域を消費します。このプロジェクトの目的は、マルチモーダルかつマルチタスクの深層学習モデルを使用して、学生の数学的推論に対する自動診断フィードバックを提供する機械学習パイプラインを構築することです。研究者はこのモデルを実験し、ファインチューニングすることで、学生の数学的推論に対する自動診断フィードバックを効果的に提供できるマルチモデルの構築を支援できます。

🚀 クイックスタート

このモデルは、Microsoft GITを用いてファインチューニングされ、学生の数学的推論に対する自動診断フィードバックを提供することを目的としています。以下の手順で使用することができます。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM
from transformers import AutoProcessor
from PIL import Image
model = AutoModelForCausalLM.from_pretrained("Fan21/git_20")
processor = AutoProcessor.from_pretrained("Fan21/git_20")

image_path ='Please enter the image address here'
image = Image.open(image_path)
width, height = image.size
display(image.resize((int(1 * width), int(1 * height))))
pixel_values = processor(images=image, return_tensors="pt").pixel_values
with torch.no_grad():
    outputs = model.generate(pixel_values=pixel_values, max_length=50)

answer = tokenizer.decode(outputs[0], skip_special_tokens=True)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 ドキュメント