Raspberry Piで動かすvLM完全ガイド
限られたリソースで
画像×言語AIを構築する

# 64bit OSであることを確認
uname -m   # → aarch64 であること

# システム更新と基本ツール
sudo apt update && sudo apt upgrade -y
sudo apt install -y python3-pip python3-venv git cmake build-essential \
                    libopenblas-dev libjpeg-dev libpng-dev v4l-utils

# スワップを増やす（推論中のメモリ逼迫対策）
sudo dphys-swapfile swapoff
sudo sed -i 's/^CONF_SWAPSIZE=.*/CONF_SWAPSIZE=2048/' /etc/dphys-swapfile
sudo dphys-swapfile setup
sudo dphys-swapfile swapon

# GPU メモリは vLM 推論には使わないので最小化（VideoCore は重要でない）
# /boot/firmware/config.txt に下記を追記
# gpu_mem=16

python3 -m venv ~/vlm-env
source ~/vlm-env/bin/activate
pip install --upgrade pip wheel
# 共通の最小依存
pip install pillow numpy opencv-python-headless requests

# PyTorch (CPU版、aarch64対応) と transformers
pip install --index-url https://download.pytorch.org/whl/cpu torch torchvision
pip install transformers accelerate einops pyvips

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image
import torch

MODEL_ID = "vikhyatk/moondream2"

# Raspberry Pi は CPU 実行のため float32 でロードする
# （PyTorch の CPU バックエンドは float16 演算をほぼサポートしないため。
#   GPU/CUDA がある環境でのみ torch.float16 が有効。
#   ※省メモリ・高速化を狙うなら後述の llama.cpp + GGUF 量子化を推奨）
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    trust_remote_code=True,
    torch_dtype=torch.float32,
    low_cpu_mem_usage=True,
)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

image = Image.open("/home/pi/capture.jpg").convert("RGB")

# Step1: 画像をエンコード（重い処理。1回だけ）
enc = model.encode_image(image)

# Step2: 同じ画像に複数の質問を投げる（軽い）
print(model.answer_question(enc, "この画像に何が写っていますか？", tokenizer))
print(model.answer_question(enc, "棚に欠品はありますか？", tokenizer))
print(model.answer_question(enc, "人物は何人いますか？", tokenizer))

import cv2
import time

cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720)

QUESTION = "この映像に異常はありますか？1文で答えてください。"

while True:
    ok, frame = cap.read()
    if not ok:
        continue
    img = Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))

    t0 = time.time()
    enc = model.encode_image(img)
    answer = model.answer_question(enc, QUESTION, tokenizer)
    dt = time.time() - t0

    print(f"[{dt:.1f}s] {answer}")
    time.sleep(5)  # 5秒ごとに推論（連続推論は熱対策上推奨しない）

pip install --upgrade transformers
# 量子化が必要なら
pip install bitsandbytes accelerate

from transformers import AutoProcessor, AutoModelForVision2Seq
from PIL import Image
import torch

MODEL_ID = "HuggingFaceTB/SmolVLM-256M-Instruct"

processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForVision2Seq.from_pretrained(
    MODEL_ID,
    torch_dtype=torch.float32,   # CPU(Raspberry Pi)実行のため float32。CUDA環境なら float16 可
    low_cpu_mem_usage=True,
).eval()

def ask(image_path: str, question: str) -> str:
    image = Image.open(image_path).convert("RGB")
    # SmolVLM はチャットテンプレートで画像位置を指定
    messages = [{
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": question},
        ],
    }]
    prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
    inputs = processor(text=prompt, images=[image], return_tensors="pt")
    with torch.inference_mode():
        out = model.generate(**inputs, max_new_tokens=64, do_sample=False)
    return processor.decode(out[0][inputs["input_ids"].size(1):], skip_special_tokens=True)

print(ask("shelf.jpg", "棚の状態を1文で教えて"))
print(ask("road.jpg",  "歩行者は何人ですか？"))

cd ~
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

# NEON/dotprod を有効化したリリースビルド
cmake -B build -DCMAKE_BUILD_TYPE=Release \
              -DGGML_NATIVE=ON \
              -DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS
cmake --build build --config Release -j$(nproc)

# vLM 用の実行ファイル（マルチモーダル対応）
ls build/bin/ | grep -E "llama-mtmd|llama-llava"

# Hugging Face CLI 経由（モデル名は適宜置換）
pip install -U huggingface_hub
huggingface-cli download vikhyatk/moondream2 \
  --include "*q4*.gguf" "*mmproj*.gguf" \
  --local-dir ~/models/moondream2

ls ~/models/moondream2/
# moondream2-text-model-f16_q4_0.gguf
# moondream2-mmproj-f16.gguf

~/llama.cpp/build/bin/llama-mtmd-cli \
  -m   ~/models/moondream2/moondream2-text-model-f16_q4_0.gguf \
  --mmproj ~/models/moondream2/moondream2-mmproj-f16.gguf \
  --image ~/capture.jpg \
  -p "この画像に異常があれば1文で報告してください。" \
  -n 64 -t 4
# -t : 使うスレッド数。Pi 5 では 3〜4 がスイートスポット

~/llama.cpp/build/bin/llama-server \
  -m   ~/models/moondream2/moondream2-text-model-f16_q4_0.gguf \
  --mmproj ~/models/moondream2/moondream2-mmproj-f16.gguf \
  --host 0.0.0.0 --port 8080 \
  -c 2048 -t 4 -ngl 0 &

# Python から呼び出し
import base64, requests
with open("capture.jpg","rb") as f:
    b64 = base64.b64encode(f.read()).decode()
r = requests.post("http://localhost:8080/v1/chat/completions", json={
  "messages":[
    {"role":"user","content":[
      {"type":"text","text":"棚に欠品はありますか？"},
      {"type":"image_url","image_url":{"url":f"data:image/jpeg;base64,{b64}"}}
    ]}
  ],
  "max_tokens": 64
})
print(r.json()["choices"][0]["message"]["content"])

# サーマルバックオフ例
import subprocess, time

def cpu_temp() -> float:
    out = subprocess.check_output(["vcgencmd", "measure_temp"]).decode()
    return float(out.split("=")[1].split("'")[0])

while True:
    if cpu_temp() > 78:
        time.sleep(10)
        continue
    # 通常の推論ループ
    run_inference()