皆さんご存知のカメラ📹
動画を撮ってくれる機械ですね。
普通のカメラは静止画を一定時間ごとに撮り、それを連続的に見せるようにして動画として扱われます。パラパラ漫画みたいな(੭ु´・ω・`)੭ु⁾⁾
30fpsなら、0.03秒に一回静止画をとる感じ。1秒間に30枚の画像を撮ってパラパラする寸法( ..)φメモメモ
ここで紹介したい「特殊な」カメラは、event based camera というものです。
event based cameraは被写体のイベントに反応して:イベントの変化のあった部分だけを変えるカメラです!以下に説明動画を貼ります。
説明が英語ですね~( ;∀;) 少し動画について説明します。
左の〇が被写体。上のグラフみたいなのがみなさんの知っている普通のカメラで撮った映像のイメージ。下のグラフみたいなのがevent based cameraのイメージ。
上の普通のカメラは、その時々の静止画を定期的に撮っています。一方で下のevent based cameraは左の被写体が時間的に変化している部分だけ送られている感じです。ここで言う送られるというのは、コンピュータにデータを送るという意味。
動画の真ん中らへんで、被写体に時間的な変化がないときの違いを示しています。普通のカメラは同じ静止画をずっと送り続けているのに対し、event based cameraは何も送られていません。変化がないので、映像としても変化を付ける必要がないのです。
以下にこのカメラの論文の1つへのリンクを貼っておきます。
A 240 × 180 130 dB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor
このevent based cameraのメリットは何かというと、圧倒的な情報量の少なさです!
普通のカメラで画像処理で重い処理を行うと、時間がかかるためリアルタイムにできなかったり、1秒間に処理できる画像の枚数が少なかったり。。。1秒間に処理できる画像枚数が少ない(fpsが低い)と、動画として処理できないのでカクカクした動きになったり、動画内で見落としてしまう動きなどもあります。その遅さの原因は、動画の毎画像ごとに画像処理をしているからです。基本的には、動画の中で前の画像と変化がない部分は処理しないで、前の結果を使えばいいと思うでしょう?しかし普通のカメラでは毎画像ごとに処理しないといけないのです。前の画像とどこが違うのかを計算することも非常に計算コストが重い処理です。
一方で、event based cameraはイベントのあった部分の情報だけ。被写体に時間的な変化があった部分の情報のみがカメラから送られてくるので、計算コストを小さくできるのです(੭ु´・ω・`)੭ु⁾⁾
計算コストが小さければ、リアルタイムに、高速に処理することができるのです!
いままでカメラ画像をどうにかこうにかやりくりしていた自分にとって、カメラ自体を特殊なものにしてしまうことが、個人的にとても刺激になる話でした(^^♪
One response
この記述から時間たってますが、Event Base Cameraにまだ興味をお持ちですか? Event Base Cameraを使った研究をおご希望でしたら連絡を頂ければ貴兄の状況次第ではサンプル機の提供も可能です。