街中や公共交通機関でメールやログイン情報を入力する際、つい周囲が気になってしまう人向けの話題。米大学の研究者グループが、スマートフォンのソフトウェアキーボードで入力したテキストを、遠距離から撮影した動画やガラス・サングラスなどに映った反射から盗み読む技術を発表しました。
画面を撮影されていれば読み取られるのはあたりまえと思えますが、米ノースカロライナ大で機械視覚を研究する Rahul Raguram 氏らのグループが発表した手法では、画面上の文字やキーボードが読み取れないほどの低い解像度でも、つまり安価な民生品カメラや遠距離から、あるいはサングラスに反射した像など悪条件でも入力テキストを高い精度で再現することに成功したとされています。
遠距離や悪条件での読みとりを可能にするのは、テキストそのものではなくソフトウェアキーボードと、入力時に拡大されるガイドのほうを手がかりに使うこと。まず動画のなかから仮想キーボードの映ったスマートフォン画面を認識し、トラッキングで取り出して安定させたのち、前後フレームの差分とリファレンスのキーボード画像をつきあわせておおまかな入力文字を取り出し、あとは辞書など言語モデルを通して復元する仕組みです。
解説によれば、直接の撮影では携帯カメラで3m先から、コンパクトカメラの動画撮影なら14m先、手持ちのフルHDビデオカメラで24m、デジタル一眼レフに望遠レンズを使えば実に61m先から読みとりが可能。反射像の場合でも、コンパクトカメラで2.4m、HDビデオカメラで4m、一眼レフ+望遠レンズで12m先からとなかなか恐ろしい数字です。
元論文ではメガネに映った反射像を向かいのテーブルから携帯カメラで写される、走行中のバスの車内で、通路を挟んで斜め後ろの席からなど、携帯の小さな画面を覗かれるとは思わない状況で高い精度の読みとりに成功した実験結果が示されています。また読みとりはソフトウェアベースで自動化できるため、わざわざ人間が狙って撮影せずとも、離れた距離にある固定の監視カメラでもあとからテキストを取り出すことが可能。
— スマートフォンの文字入力を60m先のカメラで盗む iSpy — Engadget Japanese (via ajinotatakinamennna)
Reblogged from ajinotatakinamennna
