faceWah: 顔の傾きに基づいてワウエフェクトをかける

概要

「faceWah」は、顔の動きや表情を使ってワウエフェクト（Wahペダル）をコントロールすることで，足で操作する物理的なエフェクターの代わりに、顔の傾きや口の開き具合という直感的なアクションで音に変化を与える新しい表現のインターフェースのプロトタイプです。

openFrameworks と Max/MSP の組み合わせで実装しています。

1.

顔のトラッキング

(openFrameworks)

C++ベースのフレームワークである openFrameworks と、顔のランドマークを検出するアドオンである ofxFaceTracker2 を使用して、Webカメラの映像から顔の特徴点（68点）をリアルタイムにトラッキングしています。

2.

パラメータの計算と送信

検出したランドマークの座標から、以下の数値を計算しています：

• 鼻の傾き（顔の角度）：鼻筋のトップと鼻先のポイントの傾きから算出。
• 口の開き具合：上下の唇のポイント間の距離から算出。

得られたこれらの値を OSC (Open Sound Control) に変換し、ローカルネットワーク経由で送信します。

3.

音響処理

(Max/MSP)

Max/MSPで作成されたパッチ (wah.maxpat) がOSCメッセージを受信します。顔の傾きや口の開き具合の数値を、ワウエフェクト（フィルターのカットオフ周波数など）にマッピングすることで、表情と連動したダイナミックなエフェクトがリアルタイムにかかる仕組みになっています。