chakokuのブログ(rev4)

テック・コミック・DTM・・・ごくまれにチャリ

mpremoteのモジュールを使ってRP2350上のMicroPythonを制御、画像描画

背景:QVGA + RGB565の解像度でどれぐらいきれいに描画できるのかを確認したい
取り組み:絵画データをQVGA + RGB565に変換してからの、、バイナリ変換が面倒なので、mpremote + RP2350 + HSTX/TMDS + framebufモジュールの組み合わせで描画する
結果:ゴッホとか原色が使われている絵画はかなりきれいに表示される。ただし、、PC上で走っているmpremoteからRP2350上のMicroPythonに対して一画素ずつ制御しているのでめちゃくちゃ遅い
詳細:

RP2350+HSTXによるイメージ描画のために、QVGA/RGB565にイメージ変換したバイナリデータをMicroPythonのFlashメモリに転送して、MicroPython側でイメージを読み込むべきだが、バイナリ変換が面倒。PCからREPLを自動的に制御する方法を考える。

MicroPythonをPCから制御するためのメンテナンスツール、mpremoteがあるが、実はモジュールとしてPythonから呼び出せるのであった。だから、USB-Serialで接続した後は、PC上のPythonからREPLにコマンドを送ることができる。mpremoteをモジュールとして呼び出してREPLに接続して、一画素ずつPCからコマンドを呼び出してみた。1画面表示するのにめちゃ時間がかかるが、一応表示された。使ったのは、ゴッホの夜のカフェ・テラス。下記は小型HDMI ディプレイに描画された状態を撮影。

HDMIモニタで「夜のカフェテラス(ゴッホ作)」を表示中
PCからRP2350上のREPLに接続して、framebufの描画関数、pixel()を呼び出すプログラム。PCから一画素ずつ描画コードを送って実行する。Claudeからも遅すぎて実用にならないとは言われたが*1。。

#
# control RP2350 via mpremote
#
from mpremote.transport_serial import SerialTransport
from mpremote.transport import TransportError, TransportExecError

TTY='/dev/ttyS12'

#  python3 -m mpremote connect /dev/ttyS12 fs ls

#
# send demo src and execute
#

transport = SerialTransport(TTY, baudrate=115200)
transport.enter_raw_repl()

PY_FILE='./src/dvi_color_320_240_16bit.py'
transport.execfile(PY_FILE)
transport.exec('fb.fill(0x0)')
#transport.exec('fb.pixel(160,120,0xffff)')


#
# send pixel data to RP2350
#

from PIL import Image

IMAGE_FILE='./img/CafeTerraceAtNight.jpg'


QVGA_WIDTH = 320
QVGA_HEIGHT = 240

SIZE_QVGA = (QVGA_WIDTH, QVGA_HEIGHT)
BG_COLOR_WHITE=(0, 0, 0)

def png_to_qvga_letterbox(file_path):
    img = Image.open(file_path).convert("RGB")
    img.thumbnail(SIZE_QVGA, Image.LANCZOS)  

    canvas = Image.new("RGB", SIZE_QVGA, BG_COLOR_WHITE)
    offset_x = (SIZE_QVGA[0] - img.width) // 2
    offset_y = (SIZE_QVGA[1] - img.height) // 2
    canvas.paste(img, (offset_x, offset_y))
    return canvas

img = png_to_qvga_letterbox(IMAGE_FILE)
pixels = img.getdata()

for y in range(QVGA_HEIGHT):
   for x in range(QVGA_WIDTH):
       r, g, b = pixels[QVGA_WIDTH * y + x]
       rgb565 = ((r >> 3) << 11) | ((g >> 2) << 5) | (b >> 3)
       transport.exec(f'fb.pixel({x}, {y}, {rgb565})')

#transport.exit_raw_repl()
#transport.close()

■追記
ここにきて落ち着いて考えると、、自分がやってることは、1000円以下で買えるSPI接続のLCDディプレイ(240x320)に表示することと変わらないのでは。。(何が見えるか?という最終結果だけを比べると)。。 DVI信号で出力するというのは技術的に違っているが、出てきたものは、QVGA RGB565であると。。。見える物は同じ。
何が違うのか?を改めて考える。。SPI接続のLCDディスプレイは安くて手軽ですぐ使える。だけど、、サイズが小さい、配線が手間*2、結構壊れる、、HDMIケーブルで接続できるDVI出力はTVとの接続が楽、マイコンだけ現地に持っていけばTVを借りて大きく表示できる。。これぐらいの違いか。本当に安定してプログラムが動くのか??はもう少し確認必要
外観はこんな感じ。

単に面白いというだけで作っていて、目的、用途、意義はあと付けなのであった(勉強会でデモに使うと喜んでもらえるだろうか。。「(こんな手間なことしなくても)Raspberry Pi Zeroを使えばHDMI出力できますよね?」とか言われそうだが。。)。

メモ

mkdir ~/projects/rp2350-sensor-gui
cd ~/projects/rp2350-sensor-gui
git init
python3 -m venv venv
source venv/bin/activate
pip install nicegui pyserial

*1:画像一ライン分をバイナリとして転送して描画しろといわれた。結構複雑なプログラムになる

*2:ブレッドボード上で配線がごちゃっとなる