背景：Huskylens+LEGO SPIKE の教材開発をすべきなのだが、LEGOが事務所にしかないので、LEGO SPIKEの代わりにMaqueen でAIカメラ付きカーを試作する
まとめ：本来はHuskylensをどう制御するか？を検証するために始めた作業だったが音声制御の方が面白くてそればっかりやっていた。本来の目的を見失ってやりたい放題にやってしまった。しかも、別件のプログラミングセミナーの準備も逃避し続けて連休最終日となった*1。。
詳細：
正月中、ずっとAlexa+Maqueenの制御プログラムと基板試作をやっていた。Huskylensを組み合わせる所まで進むことができず、現状は以下
- Alexaで発話してAWS IoT Core経由でMaqueenが動く(前進、後退、停止、旋回)
- Maqueen内の動作状況をAWS IoT Core経由でPublishして、ノートPC(Node-RED)で音声合成、発話
概観は以下
構成図は以下（AlexaのアカウントとAWSの個人アカウントを共通化できず、別建て）
できていないこと、現在の課題
- HuskylensとMaqueenの接続、連携動作
- 機器が起点となってAlexaで発話(制限強そうなので実装せず)
- Amazon Echo -> Alexa(Lambda) -> Lambda -> AWS IoT Core ->Maqueenの流れでMaqueenを制御すると遅延が結構発生する。評価版なので致命的ではないが、このもっさりした遅さはなんとか解消したい。通過時間を計測してどの工程で遅延が発生しているのか？は明らかにしたい
- クロスアカウントで教科書通りにLambdaを呼び出す実装(今は呼び出し側のLambda内でCredentialを直接指定している)
- 生成AIとの連携は長期課題なので、今は不問とす
今後の取り組みは以下
- 物とぶつからないようにMaqueenの距離センサを有効化して障害物を検知して回避する
- HuskylensとMaqueenの制御基板(ESP32-S3)をSerialで接続する
- 音声でHuskylensを制御する(TAGを探せとか、ボールを探せと指示すると、HuskylensとMaqueenが連携して対象物を探す)
- 生成AIと連携して、どうやったらいいのか分からない場合(プログラムが存在しない場合)、Maqueenは生成AIに問い合わせしてコードを書いてもらい実行する
- 精度の高い旋回を実現するため、角速度センサを追加する（正確な90度回転等を実現したい）
■追記
生成AIにコードを書かせるとして、解くべき課題は何なのか、どのようにプロンプトを生成してコードを書かせるのか、書いたコードをどのようにプログラムに取り込むのか、問題は多い。人間だったら、その辺りは普通にこなせるタスクだけど、Maqueen自体に問題解決させるのであれば、問題解決のフローを作るプログラムが難しい。問題解決プログラム自体も生成AIに作らせる？？
*1:最終日でも準備作業を開始せずこうやって逃避を続けている
