その後の Raspberry Pi5

Raspberry Pi5 を起動してから何日か経過しましたが、排熱ファンがPWM 制御のせいか、未使用時は部屋の雑音以下のようです。（耳を近づけると風切り音が聞こえる程度）

PyTorch のように負荷がかかるプログラムを実行してもあまり回転数が上がりません。（一瞬で終わるからか？？）

Tensor Flow (Lite) をインストールしておくと、yolo コマンドから直接 Tensor Flow ライブラリを使うことができました。やり方は簡単で、

yolo detect predict model=yolov8n_float32.tflite source=image.jpg

とすると、PyTorch ではなく、Tensor Flow Lite を使うようになります。Tensor Flow Lite 用のモデルパラメータは以下のように作成することができます。

yolo export model=yolov8n.pt format=tflite

Model は必ず PyTorch フォーマットでなければなりません。

なお、Tensor Flow をインストールする前に、libhd5.so をインストールしておく必要があります。

sudo apt install libhd5-dev

Tensor Flow Lite ではパラメータを INT8 に変換することもできます。推論時間が200msecほど短くなります。Neon を使ってもこの程度しか速くならないのでしょうか。

毎回思うのですが、Broadcom は GPU の仕様を公開しないのはなぜなのでしょうね。

NPU を使う前に GPU で高速化してみたいと考えるものだと思うのですが。