かならずお読みください→
Androidの例 YouTube動画はこちら 3分17秒 小さな音が出ます
Windowsの例 YouTube動画はこちら 1分56秒 小さな音が出ます
パソコン操作のポイントはキーボードとマウスです。しかしお身体に何か不自由があるとこれらで苦労することもあります。このような場合はやや違う方法や道具を利用することでカバーし、普通の人と同じ機械（例えばパソコンなど）を使うことができないかというところから考え始めることにしています。
これは、作業のやり方や使う道具はそれぞれの人でいくらか違っていても特にかまいませんが、完成した結果はそれぞれに大きな違いはないということです。それぞれの成果物をお互に見たりなおしたりできると他の人とチームを組んで共同作業や分担作業ができる可能性も大きくなります。このようなひととのつながりやそのひとのやりがい等のほうが大事なことです。また普通の道具が使えれば操作方法習得の負担も費用の負担もより少なくできます。
またキーボードは日本語や英語など使用する言語に合わせることがよくあります。現に日本ではほとんどの人が日本語キーボードを使用しています。しかしマウスにはこのような言語や国も壁がありません。どのマウスでもそのまま使用できます。また外国で開発された不自由のある人のためのマウスはほとんどそのまま他の国でも同じ不自由を持つ人にの役に立ちます。マウスにはこのような言葉の壁がないという興味深い特徴があります。
このような事情がありますのでその方の不自由に合わせてマウスを選び、続いて用途や言語など必要に応じてオンスクリーンキーボードなどの代替キーボードを考えるといったやり方をする場合が多いように思います。
2000年ごろ、安価なWebカメラの普及とパソコンの処理能力向上により画像計測技術の開発が進みました。これらの技術を更に応用して顔の動きをカメラで計測してマウスを操作する方法、また2010年代には眼球運動でマウスを操作する方法が考えられるようになりました。ここでは顔の動きで操作するマウスについてまとめてみました。
パソコンのカメラで人の顔を撮影し、その画像から顔を認識して顔の向きにマウスカーソルを操作する、つまり顔を動かしてマウスを操作するソフトをミラノの Simone Soria さんが作って無料で公開しました。2009年ころのことです。
いち早く日本国内にも紹介され驚きをもって迎えられました。完成度も実用性もたかく無料で多くの人が試しました。今でもこのことをご記憶の方も多いことでしょう。しかし残念なことにその後配布が中止され今では使えなくなりました。ライセンスに関するトラブルが原因との噂もありましたが本当のことはよくわかりません。
同じ時期に、ボストンカレッジの James Gipsさんらが同じ目的でカメラマウスというソフトを開発しこちらも無料で公開しました。またその後も開発を続け今でも利用できます。
こちらは、ほくろや鼻の影など顔の特徴的なマーカーを指定し、カメラでその位置と動きを計測しマウスカーソルを操作するものです。リンク先のwebページでは多くの利用者の写真が紹介されています。
スペインの Cesar Mauri さんがこのソフトを開発しました。このソフトはWindows版のほか、ubuntu（linux)版、Android版がありところが特徴と言えます。顔認識を使用しているようです。モニターの小さいスマホではやや使いにくいところもあります。やや大きめのタブレットでは実用性があると思います。
今回紹介している、eSSENTIAL Accessibility には、前回紹介した外部スイッチを使用するX-Yモードのほかに、カメラで計測した顔の動きでマウスを操作するハンズフリーがあります。今回はハンズフリーを試してみました。またeSSENTIAL Accessibilityには、Windows版、Mac版、Android版がありますので、WindowsとAndroidでそれぞれ試してみました。
前回7インチのタブレット (Lenovo, TB7504X)にeSSENTIAL Accessibilityをインストールしましたので、今回も引き続き使用しました。
ハンズフリーは設定で感度を調整できますが、感度調整で動かせる範囲が変化しますので画面全体をまんべんなく動かせるように上下左右の感度を調整しました。そのため顔の小さな動きでマウスカーソルは敏感に動き、目標に静止させるのにやや手間取るようになりました。感度を何回か調整しましたがうまく行きませんでした。
理由として、タブレットのモニターが小さく、カメラに顔がかなり小さく映り計測制度を得にくいことなどが考えられます。また中間位に感度の低い「不感帯」もないようで、そのため、安定性や扱いやすさに問題があるようです。
このような説明ではわかりにくいですから参考のために動画も作りました。マウスカーソルの動きも観察してください。
eSSENTIAL Accessibilityを手持ちの古いWindowsデスクトップパソコン(intel, corei3, sandybridge) にインストールし、古いwebカメラを使って動かしてみました。
起動後、画面上部にツールバーが表示されるなど、Android版とWindows版では作りにかなり違いがあることがわかります。またハンズフリーマウスを動かしてみると、はじめのキャリブレーションや設定の項目なども違います。またマウスカーソルの動きが落ち着いていて、目的を捉えるのが楽にできます。
また、Windowsではアプリを（全画面表示ではなく）部分表示にすれば、 マウスカーソルをデスクトップに移動すれば安心して脇見もできます。
こちらも動画を作りましたので、見比べてください。
eSSENTIAL AccessibilityのハンズフリーマウスはAndroid版とWindows版ではかなり違います。外見はよく似ていますが使い心地や設定がかなり違います。まるでこれらは別の人またはチームが手がけたものかもしれません。私の感じで言えば、Windows版のほうがいくらか完成度が高いように思えます。これからもさらに開発が進められることを期待したいと思います。
今回ご紹介した顔の動きで操作するマウスは、視線入力（眼球運動で操作するマウス）と同様に、機器操作に不自由のある方々やその周囲の皆さんの関心を集めています。ちょっと試してみたいといった方々は多いようで、ときには私のところにも相談が来ます。
しかしすこし考えて見てください。日頃自動車の運転をしている慣れた人がディーラーに立ち寄って新車の試乗をするのとはずいぶん違います。顔でマウスを操作してみるなんて、初めて乗ったヘリコプターを操縦してみるようなものです。一発でうまくできたら奇跡です。このようなわけでちょっと試してうまくいく人は非常にまれです。自分の幸運を信じたい気持ちはわかりますが、ほとんど人はかなりの練習が必要です。ちょっと試してだめならあきらめるのはもったいないですから、時間をかけて取り組んでほしいと思います。（だからこそ身近なスマホやタブレットでじっくり練習できるアプリの開発に取り組んでいるのです。）
どなたでも一度やってみればわかります。動かすのは比較的簡単なんです。基本的に顔を動かせればできます。反対に止めるのはかなり難しいです。また役に立つかどうかはこれで決まります。これに気がつくのにはそれほど時間はかかりません。一度試して見たい方は、ぴたりと止まり、そのままじっとしていることができるでしょうか。この答にもそれほど時間がかからないでしょう。また動かしているときよりも止めるときの方がつかれます。うまくいかずいらいらするとかなりつかれます。それを乗り越えられるでしょうか。これを言葉で説明するのは簡単ではありません。このような事情から時間はかかりますので、せめて元手はかからない方法をここではご紹介しているのです。
これまで、高位頸随損傷など重い麻痺などがある方のパソコン操作やマウス操作練習のお手伝いをしてきました。ここでその際の工夫について説明したいと思います。
まず図のような壁紙をモニターに表示してマウスカーソルを動かす練習をします。「次は赤」、とこえをかけ、マウスカーソルを移動してもらいます。これを繰り返すと上下左右斜めの動きを観察でき、うまくいく方向とうまくいかない方向がわかります。得意な方向と苦手な方向と疲労の具合を確認して練習をおわります。これを何日か繰り返すと、まずだんだん疲れが少なくなります。やがて得意が伸びたり、苦手が少なくなるのに気がつきます。マウスを動かす運動でも繰り返しているとだんだん改善しているのがわかります。このようにマウスやマウスカーソルでは、通常わかりにくい練習の成果が「みえる化」できるところが大きな特徴です。だんだんうまくなるとやめられなくなるのはゲームと同じですので注意が必要です。
さて、「赤から黄色へ境目で止まる」といった停止の練習は、疲れにくくなり、やる気も出てくると順調になります。また頃合いを見てゲームなどはじめるとあとはどんどん上手になります。
一例を簡単に紹介しましたが、要はご本人の主体性ややる気を維持するために、見える化や数値化します。そして練習開始からの上達を確認（昔より今はかなりましにになったなど）しながら次の展望（来月はできるかもしれないなど）を持てるようにお膳立てすることが肝心です。
ある方がお作りになった視線入力のゲームにも「見える化」の仕組みが入っているのはさすがです。それに引きかえ、お膳立てもなくあれこれ試してはだめを繰り返すひともいます。まったくお気の毒なことです。
前回は、eSSENTIAL AccessibilityのX-Yモード、今回はハンズフリーモードについて紹介しました。いかがだったでしょう。
このような新しい機器や方法がこれからも次々と現れてくることでしょう。 また、それらを通じて作る人と使う人を結びつけるやり方自体も今大きく変化しています。
「なにかいいものありませんか？」
「これが今年の新商品で評判いいですよ」
「じゃあそれひとつください ためしてみます」
「まいどありがとうございます」
こんなのどかなやりかたではもう通用しなくなってしまいました。
顔で動かすマウス関係
2022/12/1 公開
研究企画課リハ工学科にもどる
←もくじはこちらです