たくさんの自由帳
Androidのお話
Android NDK 無しで USB Video Class をやりたかった（ギブアップ）
投稿日 : | 0 日前
文字数(だいたい) : 3322
どうもこんばんわ。
最近は数年ぶりにNova Launcherってホームアプリを使ってます。Android 7くらいのときは有料版を買うくらいには気に入ってた。
列や行のサイズを変えたり（今なら標準で出来ますが、上限付き）、ウィジェットの最小幅を無視したり、上から下スワイプで通知領域を展開したり（これも今なら標準で出来ますが）、ページ丸々削除するやつとか、通知バッチとか気に入ってた。
しかしAndroid 10が来てからは、ジェスチャーナビゲーションを使うために標準ホームアプリを使ってました。
正しくはサードパーティのホームアプリでもジェスチャーナビゲーションが使えたのですが、その頃のサードパーティのホームアプリにはホーム画面に戻ったときのアニメーションが実装されて無くて、使うのをやめちゃったんですよね。（そもそもデバイスメーカーによっては標準ホームアプリ以外を使う場合はジェスチャーナビゲーションが無効になるとか）Androidがそれ用のAPIを提供してくれないのが悪いみたいでサードパーティが対応するのは難しいとか。
が、やっぱりウィジェットを詰め込みたくて舞い戻ってきた。最小幅を無視したい。
今使ってますが、かなり再現度の高いジェスチャーのアニメーションがされるようになってました。
いつから実装されたんだろう？APIがないからサードパーティではもう無理なのかなって思い込んでたんだけど、Nova Launcher側でフルスクラッチしたのか、かなり再現度の高いアニメーションがされるように進化してた、、、
本題
ギブアップです。わかりません。
敗因はUVCどころかUSB自体がわからなかったことかなと思います。
Android NDK、というよりかはC / C++無しでUSB Video Class (UVC)をやりたかった。。。
なんとかJava / Kotlinだけで書けるようになりたかった。
中途半端な成果
一応繋いで、権限を付与した後ボタンを押すと、こんな感じのぐちゃぐちゃな画像ができます。
本当はぐちゃぐちゃにならないはずですが。。
Xperiaの外部モニターだときれいに出ている。解像度が変なのは私があれこれいじったせい。
先駆け者さんを調べる
ぶっちゃけパクリです。すいません
- https://voidcomputing.hu/blog/android-uvc/#test-implementation
GitHub - libuvc/libuvc: a cross-platform library for USB video devices
a cross-platform library for USB video devices. Contribute to libuvc/libuvc development by creating an account on GitHub.
https://github.com/libuvc/libuvc
USB Video Class 仕様
仕様がダウンロードできます、が！USBに関しての知識がないと多分わからない。私も分からん。
Android USB ドキュメント
ブロードキャストレシーバーが出てきて懐かしい気持ち。クラスが何個か出てきて複雑
UVC デバイスからフレームを取得する流れ
多分こんなことをlibuvcがやっている。C言語はわからない
UVCのデバイスを探す- 探した
UVCデバイスに接続する- カメラ権限が必要です
USBデバイスを操作する権限がなければ、ダイアログを表示し付与してもらうUSBデバイスのインターフェースやエンドポイントに触れるようになる
これ以降はUVCの仕様書を読んだり、libuvcがやっていることを真似すれば良いはず。理論上は
USBには通信路がいくつかある？この通信路をインターフェースとか呼んでいるそうUVCの場合は、仕様書を見ると0番目がVideoControl、1番目がVideoStreamingになってて、映像のフレームが欲しい場合は1番目のインターフェースを使う
1番目のインターフェースを取る。あとエンドポイントも取る- エンドポイントが何なのかはよく分かっていない
claimInterfaceで、USBデバイスを専有するコントロール転送を使って、UVCデバイスに命令を投げる- 命令内容もパクって作ったのでぶっちゃけわからない。。。
libuvcのこの辺で命令のバイト配列を作っている
バルク転送を使って、フレームを取り出す- ここもよく分からなくて、多分受け取るバイト配列のサイズをちゃんと出さないといけない
- 適当にでかい数字を入れていたのも敗因
- 手に入るのは
YUY2（手元のやつだとこれだけっぽい）AndroidだとYuvImageクラスを使うことでJPEGにできます
- ここもよく分からなくて、多分受け取るバイト配列のサイズをちゃんと出さないといけない
YUY2をJPEGとかにする- 何もわからないので、ぐちゃぐちゃな画像がここでゲットできる
どうすればいいのかな
libuvcはlibusbっていうライブラリを叩いてるので、Androidに持ち込むのは先人たちが言うには厳しいそう。（USBデバイスのファイルにアクセスできない）AndroidでUSBを触るにはUsbManagerってのがすでにあるため、それを使わないといけない。
なので、libuvcと同じように命令のバイト配列を組み立てたり、結果をパースしたりして、libusbを叩いてる部分はAndroidのUSB関連のクラス、UsbDeviceConnection#controlTransferやUsbDeviceConnection#bulkTransferを使えば、理論上は動くような気がしている
めちゃめちゃ大変そうだけど。
おわりに
内容0で申し訳ない。まずはlibuvcを動かしてみるところからやらないとダメそう。
あとCamera2 APIでUVCデバイスにアクセスできるとか書いてありますが、あれはXperiaくらいしか対応した機種がないです。
カメラ連携を謳ってるだけある！！！！