本記事は、当社の製品「SphereAuto」の設計段階の記録です。実機での検証はこれから行うため、動作の実測値や導入実績は載せていません。部品名は現時点の候補で、検証の結果により変わる場合があります。
なぜ「ソフトを入れない」方式が必要か
ExcelやCSVの内容をWebシステムへ1件ずつ転記する——意外と手間がかかり、入力ミスの見直しにも時間を取られます。こうした定型入力はRPAで自動化するのが定番ですが、多くのRPAはPCへのソフト導入が前提です。
ところが、お客様管理のPCや、セキュリティ上ソフトの追加が許されないPCでは、導入そのものができません。そこで当社は、PCから見て「キーボードとマウスを人が操作している」ように見える外付けデバイスに、クリックと入力を任せる方式を考えました。PC側には何も入れません。インストールできる環境向けには、Windowsアプリ方式も並行して開発しています。
工夫1:役割で分けた二層構成
デバイスの中身を、1枚の基板にまとめず2つの役割に分けました。PCへ操作を送る「手」と、次に何をするか決める「頭」です。
- HID用マイコン(手)——PCにキーボード・マウスとして認識され、決められた操作を送ることだけに専念します。候補はESP32-S3のようなUSB・Bluetooth対応のマイコンです。
- 処理ユニット(頭)——データを読み、次の操作を決め、結果を判定します。候補はRaspberry Pi 5のような小型Linux基板です。
分けた理由は、PCから見える部分(HID)を単純で応答の安定したマイコンに任せ、画像認識やシナリオ管理のような重い処理を、ソフトを自由に組み込めるLinux基板に任せるためです。両者はケーブルで結び、役割の境界を明確にしています。
工夫2:「見て・押して・確かめる」ループ
HIDだけで決まった順に打つ方式(いわゆる「目隠し入力」)には弱点があります。画面の表示が遅れたり、想定外のダイアログが出たりしても、デバイスには見えないので止まれません。
そこで、PCの映像をHDMI分配器で2つに分け、一方をお客様のモニタへ、もう一方をデバイスへ取り込む構成にしました。モニタの表示は妨げず、デバイスは入力結果を画面で確かめられます。一致すれば次の1件へ、想定外なら止めて知らせる、という流れです。
映像の取り込みには、USBキャプチャよりも小さくできるHDMI→CSI-2変換基板を使う案にしています。Raspberry Pi 5のMIPIポートは、設定でカメラ入力(CSI)と画面出力(DSI)のどちらにも使えます。画面出力用のDSIではなく、CSI入力として使う点がポイントです。候補はGeekwormのX1300です(Pi 5専用のHDMI→CSI-2シールドで、公称は1080p/60入力)。
工夫3〜5:現場で詰まりやすい3つの落とし穴
実際の導入で詰まりやすい点を、設計の段階から織り込みました。
| 工夫 | 落とし穴 | 設計上の対策 |
|---|---|---|
| 3. マウスは絶対座標で定義 | 相対移動のマウスは、PC側のポインタ加速で位置がずれる | 画面上の位置をそのまま指定できる絶対座標(デジタイザ型)のHIDとして定義する |
| 4. 配列とIMEを手順に持たせる | HIDが送るのは「文字」ではなく「キーの位置」。JIS/US配列の違いや、全角/半角の切り替えで入力が変わる | PCごとの配列とIMEの状態を手順の前提として明記し、確認する |
| 5. USBポートの種類まで確認して選ぶ | 開発ボードによっては、USBポートが書き込み用の変換チップ経由で、HIDとして使えるポートが無い | PCに直接つながるUSBポートを持つ基板を選ぶ(候補のDevKitC-1はUSBポートが2つある) |
まだ確認できていないこと
ここまでは設計と部品調査の段階の話です。次の点は、実機での検証(PoC)で確かめます。
- Bluetooth接続の再接続の安定性——ペアリング済みの再接続が、実際のPCで安定するか。
- 映像取り込みの1080p/60動作——X1300の公称値はあるものの、Pi 5での実動作と安定性は未確認です。
- お客様環境での受け入れ——未許可のUSB機器を拒否する設定の環境では、使えない場合があります。
キーボード・マウスとして振る舞うデバイスは、仕組みの上では、許可なく接続された場合に悪用されうる機器と同じ原理です。SphereAutoは、お客様の情報システム部門の承諾を得た環境でのみ使う前提で設計しています。
よくある質問(FAQ)
- Q. 外付けHIDデバイスでWeb入力を自動化する仕組みとは何ですか?
- A. 外付けデバイスがPCから「キーボード・マウス」として認識され、手順どおりにクリックや文字入力をPCへ送る仕組みです。PC側にソフトをインストールしないため、ソフトを入れられないPCでも導入を相談できます。
- Q. 画面を見ずに入力するのと、何が違うのですか?
- A. 画面を見ずに決まった順に打つだけの方式では、画面の表示が遅れたり、想定外のダイアログが出たりしても止まれません。SphereAutoは、PCの映像を取り込んで入力結果を確かめながら進める設計で、想定外のときは止めて知らせます。
- Q. セキュリティ製品に止められることはありませんか?
- A. 環境によってはあります。未許可のUSB機器の接続を拒否するデバイス制御が入っているPCでは、キーボード・マウスとして動くデバイスでも使えない場合があります。導入前に、お客様の情報システム部門の承諾と許可設定が必要です。
まとめ
ソフトを入れられないPCでWeb入力を自動化するため、PCから見える「手」と、判断する「頭」を分ける二層構成、画面を見て確かめるループ、そして絶対座標・配列とIME・USBポートの3つの落とし穴への対策を、設計に織り込みました。
一方で、Bluetoothの安定性や映像取り込みの実動作は、これから実機で確かめる段階です。当社はSphereAutoの先行相談とPoC参加企業を募集しています。「ソフトを入れられないPCで、この入力作業を減らせないか」という段階のご相談も歓迎です。