# ソフトを入れられないPCでWeb入力を自動化｜外付けHIDデバイスSphereAutoの設計で工夫した5点｜株式会社テクノスフィア

> お客様管理のPCにソフトを入れられない環境で、Web入力を自動化する外付けHIDデバイス「SphereAuto」。マイコンとLinux基板の二層構成、絶対座標マウス、HDMI映像での結果確認など、設計で工夫した5点と、まだ確認できていないことを解説します。

URL: https://technosphere.co.jp/blog/sphereauto-hid-web-input-automation-design

** 目次
1. なぜ「ソフトを入れない」方式が必要か
2. 工夫1：役割で分けた二層構成
3. 工夫2：「見て・押して・確かめる」ループ
4. 工夫3〜5：現場で詰まりやすい3つの落とし穴
5. まだ確認できていないこと
6. よくある質問（FAQ）
7. まとめ
   ** 本記事について

本記事は、当社の製品「[SphereAuto](https://technosphere.co.jp/sphereauto)」の**設計段階**の記録です。実機での検証はこれから行うため、動作の実測値や導入実績は載せていません。部品名は**現時点の候補**で、検証の結果により変わる場合があります。

## なぜ「ソフトを入れない」方式が必要か

 ExcelやCSVの内容をWebシステムへ1件ずつ転記する——意外と手間がかかり、入力ミスの見直しにも時間を取られます。こうした定型入力はRPAで自動化するのが定番ですが、多くのRPAは**PCへのソフト導入が前提**です。

 ところが、お客様管理のPCや、セキュリティ上ソフトの追加が許されないPCでは、導入そのものができません。そこで当社は、PCから見て**「キーボードとマウスを人が操作している」ように見える外付けデバイス**に、クリックと入力を任せる方式を考えました。PC側には何も入れません。インストールできる環境向けには、Windowsアプリ方式も並行して開発しています。

## 工夫1：役割で分けた二層構成  （図: ひとつの小さな箱の中で、小さなマイコン基板が光のキーボードとマウスをPCへ送り、大きめの基板が画面を見て判断している役割分担のイメージイラスト）

 デバイスの中身を、1枚の基板にまとめず**2つの役割に分けました**。PCへ操作を送る「手」と、次に何をするか決める「頭」です。
- **HID用マイコン（手）**——PCにキーボード・マウスとして認識され、決められた操作を送ることだけに専念します。候補はESP32-S3のようなUSB・Bluetooth対応のマイコンです。
- **処理ユニット（頭）**——データを読み、次の操作を決め、結果を判定します。候補はRaspberry Pi 5のような小型Linux基板です。

 分けた理由は、PCから見える部分（HID）を単純で応答の安定したマイコンに任せ、画像認識やシナリオ管理のような重い処理を、ソフトを自由に組み込めるLinux基板に任せるためです。両者はケーブルで結び、役割の境界を明確にしています。

## 工夫2：「見て・押して・確かめる」ループ  （図: 見る、押す、確かめる、の3つのアイコンが円環になって循環しているイメージイラスト）

 HIDだけで決まった順に打つ方式（いわゆる「目隠し入力」）には弱点があります。画面の表示が遅れたり、想定外のダイアログが出たりしても、**デバイスには見えないので止まれません**。

 そこで、PCの映像を**HDMI分配器で2つに分け**、一方をお客様のモニタへ、もう一方をデバイスへ取り込む構成にしました。モニタの表示は妨げず、デバイスは入力結果を画面で確かめられます。一致すれば次の1件へ、想定外なら止めて知らせる、という流れです。

 映像の取り込みには、USBキャプチャよりも小さくできる**HDMI→CSI-2変換基板**を使う案にしています。Raspberry Pi 5のMIPIポートは、設定でカメラ入力（CSI）と画面出力（DSI）のどちらにも使えます。画面出力用のDSIではなく、CSI入力として使う点がポイントです。候補はGeekwormのX1300です（Pi 5専用のHDMI→CSI-2シールドで、公称は1080p/60入力）。

## 工夫3〜5：現場で詰まりやすい3つの落とし穴

 実際の導入で詰まりやすい点を、設計の段階から織り込みました。
| 工夫 | 落とし穴 | 設計上の対策 |
| **3. マウスは絶対座標で定義** | 相対移動のマウスは、PC側のポインタ加速で位置がずれる | 画面上の位置をそのまま指定できる絶対座標（デジタイザ型）のHIDとして定義する |
| **4. 配列とIMEを手順に持たせる** | HIDが送るのは「文字」ではなく「キーの位置」。JIS/US配列の違いや、全角/半角の切り替えで入力が変わる | PCごとの配列とIMEの状態を手順の前提として明記し、確認する |
| **5. USBポートの種類まで確認して選ぶ** | 開発ボードによっては、USBポートが書き込み用の変換チップ経由で、HIDとして使えるポートが無い | PCに直接つながるUSBポートを持つ基板を選ぶ（候補のDevKitC-1はUSBポートが2つある） |

## まだ確認できていないこと

 ここまでは設計と部品調査の段階の話です。次の点は、実機での検証（PoC）で確かめます。
- **Bluetooth接続の再接続の安定性**——ペアリング済みの再接続が、実際のPCで安定するか。
- **映像取り込みの1080p/60動作**——X1300の公称値はあるものの、Pi 5での実動作と安定性は未確認です。
- **お客様環境での受け入れ**——未許可のUSB機器を拒否する設定の環境では、使えない場合があります。
  ** 使うときの前提

キーボード・マウスとして振る舞うデバイスは、仕組みの上では、許可なく接続された場合に悪用されうる機器と同じ原理です。SphereAutoは、**お客様の情報システム部門の承諾を得た環境でのみ**使う前提で設計しています。

## よくある質問（FAQ）   Q. 外付けHIDデバイスでWeb入力を自動化する仕組みとは何ですか？ A. 外付けデバイスがPCから「キーボード・マウス」として認識され、手順どおりにクリックや文字入力をPCへ送る仕組みです。PC側にソフトをインストールしないため、ソフトを入れられないPCでも導入を相談できます。 Q. 画面を見ずに入力するのと、何が違うのですか？ A. 画面を見ずに決まった順に打つだけの方式では、画面の表示が遅れたり、想定外のダイアログが出たりしても止まれません。SphereAutoは、PCの映像を取り込んで入力結果を確かめながら進める設計で、想定外のときは止めて知らせます。 Q. セキュリティ製品に止められることはありませんか？ A. 環境によってはあります。未許可のUSB機器の接続を拒否するデバイス制御が入っているPCでは、キーボード・マウスとして動くデバイスでも使えない場合があります。導入前に、お客様の情報システム部門の承諾と許可設定が必要です。

## まとめ

 ソフトを入れられないPCでWeb入力を自動化するため、**PCから見える「手」と、判断する「頭」を分ける二層構成**、**画面を見て確かめるループ**、そして**絶対座標・配列とIME・USBポートの3つの落とし穴への対策**を、設計に織り込みました。

 一方で、Bluetoothの安定性や映像取り込みの実動作は、これから実機で確かめる段階です。当社は[SphereAuto](https://technosphere.co.jp/sphereauto)の先行相談とPoC参加企業を募集しています。「ソフトを入れられないPCで、この入力作業を減らせないか」という段階のご相談も歓迎です。
