Kinect+Openframeworksで透明人間っぽいのをやってみた

攻殻機動隊好きとしては、やはりやりたいですよね「光学迷彩」。

ってことで今頃!って感じですが、「Kinect+Openframeworks」でちょい試してみました。

# 何も調整していないので、かなーり荒いですがw

実装方法は、

1. あるフレームをピクセルで取得しておく
2. ユーザーが認識出来たら「1」のピクセルを深度情報のピクセルへと乗せる
3. ライブの動画に乗せる

ってだけです。
なので、カメラ動かしたりすると深度情報部分に乗せてる画像が背景とずれるw
これは何かしらの対応をしないとね 🙂

まぁー試しって事で、もうちょいOpenCVも勉強しつつ調整していきます。

ついでにVimeoアカウントを取って今回の成果をアップロードしてみた。

参考URL:
openFrameworks + OpenCVで映像合成 – inter-arteq.com :: interaction between art and technology
http://inter-arteq.com/opencv/

Openframeworks+OpenNIの設定をしてみるよ

OpenNI」やるって言ってたのに、手を抜いて「ofxOpenNI」を最初にやってしまったので、

こちらもちゃんとやったぞ!って事でちゃんと書かないとね。

でもね、でもね・・・

OpenNIをOpenframeworksで使う
http://blog.hi-farm.net/2011/12/24/openniをopenframeworksで使う/

を参照すればOK。もうなーんてこたぁーない 😀

ただし自分自身の確認とメモのため記述しておきます。

ちなみにMacで試しているのでご注意を 🙂

前回の記事でダウンロードした「OpenFrameworks」を使用する。
今回使用したバージョンは「of_preRelease_v007_osx」というやつ。

# 注意点として「XCodeは4.1」で実行。
さらに「PROJECT/TARGETS」の「Build Setting > Base SDK」を「10.6」にしておく
4.2だと動かなかったので、もうちょい検証が必要。

今後アップデートで対応って本家サイトに書いてあったのでひとまず放置

# 4.2でもちゃんと動いてた・・・gccがエラってたんだけど大丈夫だった。

使用する「OpenNI」はこちらでインストールしたものを使用する。

大まかな流れは・・・


1. OpenFreamworksへ自分のアプリディレクトリの作成
2. アプリディレクトリへ空のプロジェクトをコピー
3. コピーしたプロジェクトへ「OpenNI」ディレクトリの作成
4. 「3」で作成したディレクトリへ「OpenNIライブラリ」の必要なファイルをコピー
5. Xcodeでパスの設定を行う
6. Xcodeで実際にOpenNIのファイルをincludeしてテスト

となる。

では上から順番に設定していく。

1. OpenFreamworksへ自分のアプリディレクトリの作成

Openframeworksの作法として「/of_preRelease_v007_osx/apps」以下へ、

自分のアプリディレクトリを作成する。というのがあるようなので、今回は「myApps」という

ディレクトリを作成してみた。

of_preRelease_v007_osx
|— addons
|— apps
|   |— addonsExamples
|   |— examples
|   |— myApps // create dir
|— libs
|— reademe.osx

実行コマンドは下記

1
2
$ cd ~/Desktop/of_preRelease_v007_osx/apps
$ mkdir myApps

2. アプリディレクトリへ空のプロジェクトをコピー

「1」で作成した「myApps」の直下へ「/of_preRelease_v007_osx/apps/examples/emptyExample」を

コピーして配置する

of_preRelease_v007_osx
|— addons
|— apps
|   |— addonsExamples
|   |— examples
|   |— myApps
|      |— emptyExample // copy dir
|— libs
|— reademe.osx

実行コマンドは下記

1
2
$ cd ~/Desktop/of_preRelease_v007_osx/apps/myApps
$ cp -r ../examples/emptyExample ./

3. コピーしたプロジェクトへ「OpenNI」ディレクトリの作成

「2」で追加したディレクトリ「emptyExample」の直下へ「OpenNI」という

ディレクトリを作成する

of_preRelease_v007_osx
|— addons
|— apps
|   |— addonsExamples
|   |— examples
|   |— myApps
|      |— emptyExample
|         |— bin
|         |— emptyExample.xcodeproj
|         |— openFrameworks-Info.plist
|         |— OpenNI // create dir
|         |— Project.xcconfig
|         |— src
|— libs
|— reademe.osx

実行コマンドは下記

1
2
$ cd ~/Desktop/of_preRelease_v007_osx/apps/myApps/emptyExample
$ mkdir OpenNI

4. 「3」で作成したディレクトリへ「OpenNIライブラリ」の必要なファイルをコピー

以前、インストールした「OpenNI」のディレクトリ内にある「Include」「Lib」という

ディレクトリがあるのでこちらを「3」で追加したディレクトリ「OpenNI」ヘ丸っとコピーする

of_preRelease_v007_osx
|— addons
|— apps
|   |— addonsExamples
|   |— examples
|   |— myApps
|      |— emptyExample
|          |— bin
|          |— emptyExample.xcodeproj
|          |— openFrameworks-Info.plist
|          |— OpenNI
|              |— Include // copy dir
|              |— Lib // copy dir
|          |— Project.xcconfig
|          |— src
|— libs
|— reademe.osx

実行コマンドは下記

1
2
3
$ cd ~/Desktop/of_preRelease_v007_osx/apps/myApps/emptyExample/OpenNI
$ cp -r /usr/local/src/OpenNI-Bin-Dev-MacOSX-v1.5.2.7/Include ./
$ cp -r /usr/local/src/OpenNI-Bin-Dev-MacOSX-v1.5.2.7/Lib ./

# 注意点として、「OpenNI-Bin-Dev-MacOSX-v1.5.2.7」は自分で落としたディレクトリ名へと

置き換えて実行してください。でないと「ディレクトリが存在しないよ」って怒られる。

5. Xcodeでパスの設定を行う

Xcodeで今回追加したプロジェクトファイルを開く。

次にプロジェクトにヘッダー参照パスとライブラリパスの設定する。

プロジェクト設定の 「Build Settings > Search Paths」の

「Header Search Paths」に以下を設定します。

1
$(SRCROOT)/OpenNI/Include

Library Search Pathsに以下を設定します。

1
$(SRCROOT)/OpenNI/Lib

# $(SRCROOT)は自分のパスを確認しておくこと。

6. Xcodeで実際にOpenNIのファイルをincludeしてテスト

「/of_preRelease_v007_osx/apps/myApps/emptyExample/emptyExample.xcodeproj」を開く。

「src」にある「testApp.h」へ「#include “XnCppWrapper.h”」を追記する。

例:

1
2
3
#pragma once
#include "ofMain.h"
#include "XnCppWrapper.h" // add

上記で問題無くビルド出来たらOpenNIの準備は完了。

# ちなみにビルドすると、「Semantic Issue」というエラーが大量に発生するが、

原因は「includeを多重に行っているから」らしい。ライブラリ依存って事で今回はスルーします。

これで「Openframeworks+OpenNI」の準備が整った。

次は「OpenNI」のサンプルソースを動作させてテストする。

参考サイトURL

OpenNIをOpenframeworksで使う
http://blog.hi-farm.net/2011/12/24/openniをopenframeworksで使う/

ここのサンプルソースを「testApp.h」「testApp.cpp」へ追記してビルド。

これで環境の作成は完了。後は実装とエラーを取らないとな・・・・。

他、参考サイト:

http://d.hatena.ne.jp/hagino_3000/

ofxOpenNIでKinectを動かしてみる

さて、「Kinectハッカーズマニュアル」にも記述されていた「ofxOpenNI」を試す。

前回の記事でダウンロードした「OpenFrameworks」を使用する。今回使用したバージョンは「of_preRelease_v007_osx」というやつ。

# 注意点として「XCodeは4.1」で実行。

さらに「PROJECT/TARGETS」の「Build Setting > Base SDK」を「10.6」にしておく
(4.2だと動かなかったので、もうちょい検証が必要。
今後アップデートで対応って本家サイトに書いてあったのでひとまず放置)

# ごめんなさい、ごめんなさい「4.2」でも動きました。

では始めにアドオン「ofxOpenNI」をダウンロードする。


gitgub:
gameoverhack / ofxOpenNI

からzipでもgitでも良いのでダウンロードもしくはcloneで持ってくる。

持ってきたら設置・設定を行う。

上記サイトに「DRIVERS & SETTING UP YOUR OWN PROJECTS」という項目で、

セッティングするための内容が記載されています。


Mac OS X:
You don’t need to do any install of drivers if you don’t want, just:

* Do the git magic above or somehow else get a copy of ofxOpenNI into your addons directory
* Make a new project (in 062 by copying emptyExample folder from the apps/examples/ directory into your working path -> something like ofFolder/apps/dev/)
* Copy the folder called ‘lib’ from ‘ofxOpenNI/mac/copy_to_data_openni_path’ to your ‘bin/data/openni’ directory of your emptyExample
* In Xcode make a new Group called ‘ofxOpenNI’ under ‘Addons’ (right or control click the ‘Addons’ Group, select Add->New Group)
* Drag the ‘src’ and ‘include’ folders from inside the ofxOpenNI folder (in your addons directory) into the Group ‘ofxOpenNI’ you just made.
* Drag the folder ‘lib’ from bin/data/openni (the one you just copied) into the Group ‘ofxOpenNI’
* Add #include “ofxOpenNI.h” at the top of your testApp.h (or in whatever class you’re using ofxOpenNI)

これを「A-Z」まで順番に言えないレベルの英語力の私ですが読んでみたところ、


まっくおーえすてん

特に必要としないならやらなくて良いよー 🙂

1. 「of_preRelease_v007_osx」の「addons」ディレクトリへ「ofxOpenNI」ディレクトリを移動
2. 新規プロジェクトの作成(今回は例として「/apps/examples/emptyExample」で試す)
3. 「ofxOpenNI」ディレクトリ内「/mac/copy_to_data_openni_path」の「lib」ディレクトリを
「2」で作成したプロジェクトの「/bin/data」へ「openni」ディレクトリを新規作成してコピー
4. XCodeで「addons」ディレクトリ直下へ「ofxOpenNI」というグループを新規作成
5. XCodeで「4」で作成した「ofxOpenNI」グループに「src」「include」ディレクトリを
ドラッグアンドドロップ(参照でOK)
6. 「3」でコピーした「lib」ディレクトリも「5」と同じくドラッグアンドドロップで追加
7. 「testApp.h」のソースコード内の上部へ「#include “ofxOpenNI.h」を追記して「Run」を実行

最後の「Run」で「Build Success」になれば、インクルードなどに問題無く読めているとのこと。
ここまで順調にやれば問題無くビルドは通ってるはず(と信じたいですね)

ここまで行うと下記のようになっっているはず。

問題無くビルド出来たら、次は実際にofxOpenNIのサンプルを試すことにする。

ん?でも「ofxOpenNI」にある「config」ディレクトリも必要なんじゃないかい???
設定がめっちゃ書かれているんだもん。NITEのkeyとかもここに書かれている。

ということで設置せずに試したらやはりエラーになり、あえなく撃沈。
予想通りでした 🙂


「config」ディレクトリを設置

1. 「addons」ディレクトリの「ofxOpenNI」にある「/bin/data/openni/config」を確認
2. 次に「1」で確認したディレクトリを「/apps/example/emptyExample/bin/data/openni」へコピー

ここまで出来たら後はサンプルをそのままコピペしてきて試す事にする。

「addons」ディレクトリの「ofxOpenNI」にある「/example/src」の

-「main.cpp」
-「testApp.h」
-「testApp.cpp」

を「/apps/example/emptyExample/src」のそれぞれのファイルへコピペするだけ。
コピペだけですいません、サンプルはまた作りますので許して下さい。

いざ・・・実行!

まず、「Kinect」を接続せずに実行すると・・・


warning: Could not find object file “/Developer/usr/lib/gcc/i686-apple-darwin10/4.0.1/libgcc.a(_eprintf.o)”
– no debug information available for “/var/tmp/gcc_40/gcc_40-5494~211/src/gcc/libgcc2.c”.
warning: Could not find object file
“/Users/theo/Documents/CODE/__OPENFRAMEWORKS/gitOF/openFrameworks/apps/devApps/
macDragDropExample/buildGlutFrameworkHackedWindowLevel10.4/libForeground.a(macx_foreground.o)”
– no debug information available for “/Users/mcast/Code/GLUT-ToPost/macx_foreground.m”.

と2つのエラーが出るのでご注意。

次にしっかりと「Kinect」を接続して実行(Run)すると・・・

おー!しっかりと表示されてログも出てますね。

ちなみにキーバインドで「上下」が効くので試しに押してみると、
なんとKinectを操作出来るじゃありませんか!!! 😀

すげー、まじでおもしれー!!!

Mac(XCode 4.1)でOpenFrameworks(preRelease_v007)を弄ってみる

MacでKinectやったので今度は「XCode」で前回の記事でインストールした「OpenNI」を

どしどし使っていければと思い、まずは「OpenFrameworks」を使えるようにするのでよろしくどうぞ 😀

OpenFrameworksは現時点での最新版が「of_preRelease_v007_osx」となっていました。

# 下記サイトからダウンロードが可能
http://www.openframeworks.cc/download/
(今回は上記URL内にある「osx」で試しました)

前提として、

環境が「XCode 4.2」の場合、「12.01.03」時点ではOpenFrameworksが、

フォーラムなどを確認しても動きそうにないという事が解った。

#1 あってるかな?もし動くのであれば是非教えて下さい。
#2 今後、アップデートで対応していくようですね。

動作出来る様に色々と調べたいが時間が掛かりそうだったので、しょうがなく「XCode 4.1」で試していく。

# ごめんなさい、ごめんなさい「4.2」でも動きました。

OpenFrameworksをまずはダウンロードして設定していきたいので、

こちらから落としきたファイル一式のディレクトリ構造を確認すると、

– of_preRelease_v007_osx
|– addons
|– apps
|– libs
|– readme.osx

となっています。(バージョンが違う場合は構造が違う場合があるので注意)

上記内にある「apps」以下を確認します。

– apps
|– addonsExamples
|– examples

となっているのでこちらの「examples」にある「emptyExample」
こちらが今後、「ベーステンプレート」になるので忘れないようにしておく。

このファイル一式には「XCodeのプロジェクトファイル」も含まれているので、
試しにこいつを起動させて試していく。
# 実行ファイルは「/apps/examples/emptyExample/emptyExample.xcodeproj」

XCodeで起動させて、普通に「Run」をクリックするとがっつりとエラーが出てくるのだが、
この原因は「プロジェクト:emptyExample」の「BaseSDK」が「10.7」となっているため。

こちらを修正する。

下記画面を見て解るようにまず「active scheme」を「emptyExample」へ変更しておく。

つぎに左サイドバーに表示されている「emptyExample」を選択して、

・「Build Settings > Base SDK」を「Mac OS X 10.6」

へ変更する。

そして「Run」をクリックすると、ウィンドウが表示されるのを確認出来る。
# なーんもないグレーの画面ですがw

とりあえずこれでOpenFrameworksが動作することを確認出来た。

次は、「OpenFrameworks+OpenNI」を試して実装していく。