ジェフ・ハン氏のマルチタッチ・インターフェイスがすごい：Jeff Han's Multi-touch Interface

(Courtesy: Minority Report)
最近ギズモでやって一番衝撃だったのが「タッチスクリーンで映画『マイノリティリポート』は現実になる」。まずはこの動画から見て欲しいが、このニューヨーク大学クーラント数理科学研究所ジェフ・ハン研究員（30）は昨年2月にモントレイの「TED 2006」でこの複数点同時認識タッチスクリーンを初披露し、センセーションを巻き起こした人物だ。

その時の模様は以下の動画（8月公開）で見れる。2月公開「Crazy Multi-Input Touch Screen」もYouTubeの科学技術部門でトップクラスのビュー数を稼いだ。



2006年2月TEDにて初公開
TED会場にはGoogleのセルゲイ・ブリンとラリー・ペイジ、Amazonのジェフ・ベゾス、Sun創設メンバーのビル・ジョイら約千人がいた。緊張気味のハン氏はしゃべるのももどかしいように語る。

「100ドルパソコンが出るんです。生まれてから一度もパソコンに触ったこと無い人がパソコンを触るようになる」

「僕らがやろうとしてるのは、標準のキーボとマウス、ウィンドウズのポインタでうごくコンピュータの世代とは違う、まったく新しい世代を作り上げていくことです」

「もう、インターフェイスのようなものはない。手が命じるままに動く。これが機械とインタラクトする理想のかたちです」

熱狂とどよめきが会場を揺らす。氏は「この瞬間のために生きている」と実感した。以下は今月発刊「FastCompany」2月号p.86など参考にまとめた。


主な特徴
氏のタッチスクリーンはスクリーンの下にシリコン製の頭脳部があって指2～20本の動きを感知する。触ったところ以外の赤外線はアクリルのプレートの中に残る仕組みで、表面を赤外線が水平に走っているから圧力も測れる、というわけね（このディテールが専門家を唸らせた）。

2005年10月UISTで氏のプレゼンを見た方のブログでも分かるように、特徴としては（1）複数の人がスクリーンを共有できる、（2）低コスト、（3）高解像度、（4）サイズの自由度（スケーラビリティ）が高い、（5）マウスもプルダウンメニューもカーソルもない。1970年代にゼロックス研究所が開発したWIMP（Window、Icon、Menu、Pointing Device）とポイント・アンド・クリックの呪縛が消える、（6）高速ズーム、（7）圧力認識（片指で1点を押さえて反対側を強く押して角度を変えたりできる）。あと蛇足だが映画「マイノリティ～」はジェスチャー認識、ハン氏のはタッチ認識ね。


米軍に初納品
関心を示した企業はロッキード・マーチン、CBSニュース（選挙報道でどう活用できるか知りたがった）、ピクサーで、米政府の情報局（部署不明）、海軍宇宙海戦システム司令部（SPAWAR）からも協力の打診があったほか、氏は視覚オドメーター、無人ロボット自動車の分野でも国防総省高等研究計画局（DARPA）の後援事業を手がけている。

初納品は今月で、米軍の陸・海・空いずれかに卸した。売り値は6桁ドル。投資は受けていないから丸々黒字だ。今後は新会社「Perceptive Pixel」をベースにコンサルティングとサポート業務も提供していく方針。


ヒントは“コップの水”
氏が研究を始めた当初は、1980年代にビル・バクストン（現MS研究員）がタッチスクリーンのシンセをやった辺りから全く進歩がなく、研究者も少なく、いたとしても「玩具向けばかり」だった。そんな孤軍奮闘の彼が実現のヒントを得たきっかけは、コップの水。

水面を覗くと、指がグラスに触れた部分だけ光の反射が異なって見える。そういえば光ファイバーでは何マイルも先のケーブルから外に出るまで光はケーブル内で弾け回ってるんだっけ…、氏はふと思い出した。表面がガラスならどうだろう？　光を途中で何か、そう、指なんかで遮ると弾け回る動きは止まって拡散するだろう。あるものは指先を照らし、あるものは落ちる。それが目の前で起こっていた。物理の世界ではこれをFTIR （Frustrated Total Internal Reflection）の原理というらしい。

プロトタイプが仕上がったのは、閃いてから「数時間後」だった。


分解小僧
氏は1970年代に米国に移民した韓国系2世である。両親はNYクィーンズでデリ（軽食屋）を切り盛りして彼を育てた。

5歳の頃から電化製品は片っ端から分解する子で、父親はウンザリしながらも理系の才能を見込んで早くから暗算を鍛え、氏は9歳で最初のレーザーを組み立て、有名私立の高校を出てコーネル大を3年で中退。学生時代に作ったビデオ会議の技術を採用してくれた新会社（LA）に参画したがドットコム崩壊でコケてUターン、研究職を得てタッチスクリーンにとりつかれ、今に至る。


所期プロトタイプとは？
最初は透明なアクリル素材を改造してサイドに光源のLEDを取り付け、背面に赤外線カメラを搭載した簡単なものでやった。スクリーンを指先でなぞると、光はまっすぐ落ちる。予想通りだ。その様子をカメラでピクセル単位で録画してみたところ、強く押せば押すほどカメラが捉える情報量は増えることも分かった。ここから、「タッチをライトに変換する」試みが始まった。

この技術のすごさを普通の人に見せるにはアプリが要る。そこでWindows用にソフトを書いて撮ったのが最近の動画で、これがまたブームを引き起こしている、という流れになる。


どんなソフトに使える？
最新の動画の右側のフィリップ・デビッドソン氏はNY大博士課程の学生さんで、氏の技術に興奮した勢いでソフト開発のまとめ役に。

最初に2人が手がけたのは、Google Earthのオープンソース版ともいうべき無料マップ・プログラム「NASA World Wind」で、次にやったのがFlickrとかウェブ上の写真を取り込めるフォト編集ソフト。これは2次元を3次元にも見せることができる。

分類ツールでは、リンネ種のように識別可能なありとあらゆる動植物の形態の相関関係をひとつのスクリーン上で見せる系図をこしらえた。これは系図やSNSのサイトに応用するとかなり面白そう。こないだローンチしたGeniとかも「全人類の系図をひとつに繋げる」と野望を燃やしてるようだし、リンネ種ができるなら「全世界家計図」もハッタリではなくなるだろう。戦争なんてできなくなる。

表計算ソフトではマルチディメンショナルなグラフとチャートを導入。描画ツール「Shape Sketching」では落書きから瞬時にアニメが生成できる（ピクサーが関心もったのはこれか？）。

「誰も思いもよらなかったような使い方を考える人が出てきて初めて、物事はがぜん面白みを増し進化に弾みがつくもの」とハン氏。確かに新旧見比べると、技術は使われてナンボというのがよく分かる。

ライバルは？
マイノリティリポートといえばマイクロソフトが開発してEON Realityにライセンスした「TouchLight」が有名だ。このライセンス供与でGEヘルスケア社が製造した3Dイメージングでは、外科医がスクリーンを手でなぞって脳のMRIをいじったり、皮をどけて中を診ることができる（50,675ドル）。

三菱研究所が開発したグループ共同作業用テーブル「DiamondTouch」もすごい、こちらは音声認識コマンドもついている。下の動画はゲームWarCraftで使ってみたところだが、「攻撃目標はここじゃ～」とか指令を叫びながら指で触るとドガガガン…と大砲が…。


あとカナダのSmart Technologiesは官民軍にブリーフィング用のホワイトボードを作ってるし、パナソニックは壁一面のスクリーンを開発中、Accentureのインタラクティブなビルボードはオハレ空港とかJFK空港でもう使われている。

iPhoneをハン氏はどう見てる？
ところでMacWorldでiPhoneのマルチタッチが発表になったとき、みんなが真っ先に思い浮かべたのがハン氏だ。NYタイムズのデイビッド・ポーグ記者もその一人。で、ジョブズ氏にそのことを聞いているんだよねー。彼のブログNYT-Bitsにこの時の話を書いてる。

ポ記者「マルチタッチのスクリーンならジェフリー・ハンという人が2005年8月辺りから大きいのデモってます。彼の作品はご存知ですか？」
ジョCEO「うちは2年半前からやってるんだよ」

実際、アップルのマルチタッチの特許出願はハン氏のデモの1年前、2004年5月6日に遡る（出願の図版はここだよ）。2005年にはマルチタッチ分野のリーディングカンパニーFingerWorksを買収しており、OS Xに導入の噂も。

「アップルはiPhoneにハン氏を雇おうとして失敗した」という情報の真偽をTED主催者が質したところ、ハン氏は

「iPhoneは本当にすごいです。この技術をコンシューマ市場に展開できる企業があるとすればアップルだと、それは僕が常日ごろ言ってきたことだし。もうちょっと大きかったら両手使えるんですけど」

という前向きな答えだった。いい人だなあ（追：最新動画の始まりのヘビ男@Windows Pocket PCが俄然気になり出した）。

因みに全くどうでもいい話だが我が家の家計はキーパッドが支えてる。盛り上がってる場合じゃないんだよね！


[ Jeff Han's Page]

Tags: Jeff Han, Multi-touch Interface, Minority Report