underwater NeRF
probably one of the first by @LumaLabsAI https://twitter.com/bbcg_ogi/status/1643281547703844870…
posted at 01:00:17
ツイートの記録を停止しています
このアカウントはTwitter APIの仕様変更の影響でツイートの記録を停止しています。
記録を再開するには、Twilogにログインしてください。
Stats | Twitter歴 6,165日(2007/05/14より) |
ツイート数 14,905(2.4件/日) |
表示するツイート :
underwater NeRF
probably one of the first by @LumaLabsAI https://twitter.com/bbcg_ogi/status/1643281547703844870…
posted at 01:00:17
ひと通り1日美術館に缶詰めでどうにかうまく設定完了したビデオインスタレーション…しかし今月12日のオープンまでに物理的に再調整が必要な可能性を考慮してオープン当日までこっちに居る必要が出て来た…地方に1週間単独滞在は嬉しいけど今は早くUnreal 5で動作するNeRFを体感するため帰りたいw
posted at 21:51:15
@2012apocalypsis 😂😂😂😂
posted at 19:12:27
Setting up the video installation wall at the Shimane Prefectural Art Museum
#museum #videoinstallation #daidomoriyama #松江市 https://pic.twitter.com/HdJ8Bwhaga
posted at 14:38:03
@karanganesan @UnrealEngine Now you guys will be contacted from ILM!
posted at 23:54:26
@2012apocalypsis 仕事でクソ忙しい時にこんな発表されたら気が散りますw😂😂😂
posted at 23:18:36
@kwea123 @lileaLab 質問です
動画の場合4Kなら4Kで処理するように改良されたとの事ですが例えば静止画で4Kオーバーの解像度だとどうなんでしょう?RAW(DNG)でも静止画は上げられますが、その場合4Kオーバー解像度のものだとやはり4K頭打ちですか?
posted at 23:00:20
@LumaLabsAI please give me a break! 😂 everything is moving too fast too far and I’m not able to catch up everything all at once!
仕事で忙しくなってる最中にとてつもない発表をされると仕事止めてやっちゃうじゃないかw
posted at 22:53:32
Introducing the Luma✨Unreal Engine alpha! Fully volumetric Luma NeRFs running realtime on Windows in UE 5 for incredible cinematic shots and experiences, starting today!
Try now: https://lumalabs.ai/ue https://pic.twitter.com/Lj1Lm3F2P4
Retweeted by Tommy Oshima
retweeted at 22:49:26
OMG https://twitter.com/kwea123/status/1642884363305009154…
posted at 22:49:06
という事で、やはり手作業でダメっぽいコマを極力抜いていくのが正解ですね👍
自分はそれでかなりクオリティの向上が図れました。 https://twitter.com/kwea123/status/1642885684791836677…
posted at 22:46:42
@kwea123 @lileaLab ああ、そうでしたか!
進化が早くて1週間前に聞いた話がすぐ乗り越えられるんですね!
posted at 22:44:22
@lileaLab 自分もそれを聞いてから色々試したのですが、例えば30fps4Kで撮ったものを全コマ静止画でアップしたり、コマの前後の重複が充分とれる程度に間引きして、更にフレーム毎に確認してブレたコマを抜いてみたりしてアップ方法を変えたら全コマじゃなく無駄なコマを抜いたものの方が仕上がりが綺麗でした。
posted at 22:38:31
@lileaLab 素晴らしいテストですね!
Lumaのエンジニアによると動画直接からだと処理する前に自動でダウンサンプリングしてしまうので動画で撮ったものでも静止画にしてからイメージ群としてアップロードすると4Kだったら4Kの純粋な解像感が活かされるとの事でした。
posted at 22:22:50
With @LumaLabsAI in Matsue, Shimane pref https://twitter.com/tommyoshima/status/1642858060355080193…
posted at 21:11:45
松江市で明日からの仕込み開始
朝から美術館に入り浸りなのだ
今夜は山陰の海の幸で腹ごしらえ✨ https://twitter.com/i/web/status/1642858060355080193… https://pic.twitter.com/gLlkcihczb
posted at 20:54:19
@ashuni_erb @LumaLabsAI The first half is like 1 minute, and the later half is like around 2minute plus.👍
posted at 10:34:28
S A K U R A night NeRF
Captured and Created on @LumaLabsAI
#cherryblossom #night #LightUp #nerf #LumaAI #neuralradiancefields https://pic.twitter.com/LfCXvnZKGI
posted at 01:21:24
@asami_yasumot 鳥取島根カレー行脚して参りますっ😅
posted at 23:17:12
@asami_yasumot 明日から西の更に西の方に1週間遠征なのですが、ポンガラカレーは無さそうです💦😢
posted at 22:48:08
@asami_yasumot 慌ててポンガラカレー検索したらなんと東京の2店舗とも閉業でした😭
西に行かねば!
posted at 22:10:39
ryuichi sakamoto@ryuichisakamoto
https://pic.twitter.com/mYLMEN6HrZ
Retweeted by Tommy Oshima
retweeted at 21:58:37
@asami_yasumot 😨モリモリですね!
posted at 21:31:21
あーーー
坂本龍一さん亡くなったか…RIP
posted at 21:30:14
@seaniepie @LumaLabsAI Well I guess the measuring tool on this kind of App already exists and for me, it’s not really necessary.
posted at 15:46:20
@kwea123 @CognitiveCinema But I suppose he is working on that dynamic scene on purpose? Isn’t he?
posted at 13:17:10
自分も早速試してみた!
スゴいw
posted at 17:28:29
❗️ https://twitter.com/nakabajasi/status/1642080059325558784…
posted at 17:26:48
@CHICOFUJII 😨😨
posted at 14:15:21
lightwaves https://pic.twitter.com/f6zoROyuMA
Retweeted by Tommy Oshima
retweeted at 10:52:23
@CHICOFUJII 生活基盤のインフラがヤバいって確かになかなか日本には無いかもですね😅
まあいわゆる悪徳業者は結構いそうですが…しかし窃盗だの強盗だのが横行し始めてるのは凋落感が否めないですね〜😢
posted at 10:43:13
@CHICOFUJII えええ〜😨
posted at 10:02:41
“Neural Radiant Bloom” both with soundtrack by C Duncan♫ on Instagram.
https://www.instagram.com/reel/Cqch87tjwI3/?igshid=YmMyMTA2M2Y=…
https://www.instagram.com/reel/CqeNk9Vj46O/?igshid=YmMyMTA2M2Y=… https://twitter.com/tommyoshima/status/1641831155485016066…
posted at 09:23:04
@Jake_Oleson @LumaLabsAI Wonderful! So you also combined some scenes also shot with your DSLR in still mode as well.
posted at 01:22:29
@Jake_Oleson @LumaLabsAI 😆thanks Jake
posted at 01:08:24
Neural Radiant FPV Blooms
Flying with @LumaLabsAI
#NeRF #LumaAI #neuralradiancefields #CherryBlossom #fpvdrone #sakura https://pic.twitter.com/aTmk1FSj5I
posted at 00:53:45
@Jake_Oleson @LumaLabsAI Are these shot with your BMPCC with that 8mm lens you told me? Very cool!
posted at 21:45:19
@lets_rock_it 見たままがイメージとして構築されます。
NeRFを通して見ているのはメッシュやポリゴンではないので、逆光の太陽光や水面に反射する空なんかも再現されるんです。
posted at 01:06:36
@lets_rock_it ポリゴンはあまり関係ないかもしれません。
NeRFの場合Photogrammetryと違うのはこの点ですね。
NeRFの場合点群やメッシュの書き出しはあくまでもオプション扱いで、イメージの生成はあくまでも光学的なに任意の空間から見た時のRadiance Fields…輝度場が其のまま反映されます。なので反射物も
posted at 01:02:06
@Jake_Oleson @YouTube Beautiful!! I love both versions!
posted at 00:28:55
@Jake_Oleson @YouTube Wow is this an alternative edit?
posted at 22:51:08
@lets_rock_it そうですね。
ディテールについてはLuma AIの技術者がハッキリとデュアル魚眼からの処理の方が現状では優れてると明言してます。
ただこの例のようにデュアル魚眼だと失敗するキャプチャーがエクイレクタンギュラーでは成功してるのでどちらを取るかなのかなと思います。
https://twitter.com/tommyoshima/status/1641265045463248898?s=46&t=5T3tm-C9ti4X8k9WH43tTQ…
posted at 22:45:49
@lets_rock_it 距離というか…自論で恐縮ですが、結局1つのキャプチャーで処理しなければいけないトータルのキャパシティがあって広大なシーンになればなるほど細かいものが曖昧に処理されていくのかな、と思っている次第です。分かりませんが…例えば何度か試して失敗してるのは長い距離の商店街の360動画ですね。
posted at 22:40:55
@Arata_Fukoe お疲れ様です!
さすがの仕上がりですね〜!
posted at 22:14:49
@lets_rock_it 先ずはアプリの純正のFreeformやGuideモードでお試しください。原理を理解するのに役立ちます。むしろiPhoneでビデオを撮って綺麗に仕上がる成功体験を増やした方がヘビーな使い方のヒントになるかと!👍
posted at 22:11:27
そしてこれが元の素材で数軒先の店の前から歩いて仮面屋に入るまでの比較的長距離(30mほど?)をデュアル魚眼でアップしたもの。
広域(収録時間が長い)なほど細部がヌルヌルになっていくという事ですね。
@lets_rock_it
https://www.dropbox.com/s/wx64rhsg59ngpi0/omote_longcapture.mov?dl=0… https://twitter.com/tommyoshima/status/1641423480360157184…
posted at 22:08:10
パッと見どっちもどっちぐらいな感じでディテールが見える気がするけど窓側の棚のディテール感がちょっと違うか?
エクイレクタンギュラー版
https://www.dropbox.com/s/97a9602wftv8uge/Omote_Inside_Equirectangular.mp4?dl=0…
デュアルフィッシュアイ版
https://www.dropbox.com/s/sudp3yhn1xx8bqn/Omote_Inside_DualFisheye.mp4?dl=0…
posted at 21:53:48
次に…エクイレクタンギュラー化したものと同じ尺でInsta 360RS1インチ素材のデュアル魚眼.insvファイルをzip圧縮してFisheyeでLuma AIにアップロードして出来たNeRF
同じカメラパスを当てたけど空間座標が違うために若干アニメーションが違う点はご容赦
https://www.dropbox.com/s/3ntpx9q2n8f5j0n/Omote_Enter_DualFisheye.mp4?dl=0…
posted at 21:50:47
Twitterにアップすると圧縮のせいで画質の差が分かりにくい…
という事でレンダリング原板ファイルを以下にアップ
京島キラキラ橘商店街にある仮面屋OMOTEの外から店内に入るところをInsta 360RS1インチで撮影
エクイレクタンギュラー化したものから@LumaLabsAI でNeRF化
https://www.dropbox.com/s/1uiudfoaul7fl7h/Omote_Enter_Equirectangular.mp4?dl=0…
posted at 21:47:05
@lets_rock_it お!でもこれはイケてるんじゃないですか?
posted at 21:41:19
@lets_rock_it 原版のムービーをお見せしますのですこしお待ちください…
posted at 21:34:47
@lets_rock_it どちらもInst 360RS1インチで360です。ただ処理の仕方が片方は.insv魚眼を二眼分アップしたもの、もう片方の内装を多く見せてる方はエクイレクタンギュラーからです。
Luma AIの技術者によると現状ではデュアルフィッシュアイからの方が仕上がりが綺麗だとの事
posted at 21:31:14
@lets_rock_it …してしまうのでかつてVRでもあったように「無駄な部分」「ゴーグルでほとんど見ない真後ろ」まで情報処理が奪われるという意味では適材適所かもしれませんね😆
ただどんな広大なキャプチャーでも無限に処理が可能なキャパが出来たらそんな事も言えないかもですがw
posted at 21:27:59
@lets_rock_it 意味はあると思います。ただしキャプチャーしたい対象によるかもしれません。基本的にカメラが向いている方向のものしかスキャン出来ないので撮りこぼしたらそこは虚無なんですよねw
360だと全方位なので撮影者の背後の情報まで無限遠で撮るという点で「要らない」情報までキャプチャーしようと…
posted at 21:24:25
@Arata_Fukoe 待ってました!
posted at 20:30:03
@lets_rock_it Twitterの圧縮のせいで差がイマイチ分かりにくいですかね😅
posted at 19:41:52
@lets_rock_it これは同じシークエンスから使い所を変えていて、最初の方のは外の店の並びや商店街をしっかり見せてますが、二つ目のは店に入る手前からにして内装重視にしてみました。
内装のディテールの差が分かると思います。
もっと長いストロークをアップしたバージョンはお見せ出来ないぐらい酷いですw https://twitter.com/i/web/status/1641388457254879232… https://pic.twitter.com/8z846uXXeV
posted at 19:34:38
@lets_rock_it 長尺のシーンでも使い所の尺を短めにしてみるとかでいろいろ試してみるとだんだんクセが分かってきます!
通常撮影でも長いストロークのものは最終的に破綻しちゃうんですよね。逆に対象物をひとつに絞ってグルグル周りを周回して高さを変えて三周ぐらいするとその被写体の解像感がアップします!
posted at 19:25:39
@lets_rock_it されてしまうのであまりオーバースペックは意味ないようです。
テストするとしたら先ずは狭い範囲の対象から始めるといいかもです!
動画からだと結局ダウンサンプリングされてしまうので静止画連番にした方が少しでも画質がアップするとかいろいろコツはあります!
posted at 19:13:06
@lets_rock_it おおお!
お疲れ様です!w
LumaAIに限った事かもしれませんが、広域キャプチャーをするとキャプチャーのクオリティーが処理される全体で平均化されてしまってものすごく画質が粗い感じで仕上がったりするようです。
また6K 8K 12Kなど極端に大きなサイズはシステム上受け付けない(ダウンサンプリング)
posted at 18:57:32
@LumaLabsAI updated the tips document for capturing NeRF in maximum quality, and Equirectangular is now included!👍
撮り方指南のドキュメントにエクイレクタンギュラーが正式に追加されたようです。 https://twitter.com/tommyoshima/status/1641222190933905408…
posted at 17:12:12
@kwea123 Great!!👍👍
posted at 17:08:53
来週の島根の案件用に仕込み作業始めてるけど2000枚以上ある画像を機械的にアレする宛名書きみたいな作業キツイわ😭
こういうの若い衆がいたら手分けしてやって欲しいけどオッさんばかりの弊社では老体に鞭打たなければならんのだ…
箸休めでチョコチョコNeRF設定に逃げつつ、打つべし打つべし💦
posted at 14:57:09
@makotofalcon なるほど!確かに情報密度が変わりますね。
自分でも今極端に狭いサンプルで検証してレンダリング中ですが、レンダリングする前から明らかに小物の解像感・ディテールが数段上がったように見えます。
posted at 14:44:41
@2012apocalypsis 開発炸裂しまくっておりますね!w
ついでに「ドーム投影仕様も一発で!」ってお願いしたくなるレベル😆
posted at 13:09:34
広域キャプチャーよりも狭い場所に適してるのか!
なるほど、これも現状のエクイレクタンギュラーNeRFで重要で有益なヒント! https://twitter.com/makotofalcon/status/1641279384509358080…
posted at 12:57:08
@2012apocalypsis そうなんです!コッソリとまたヤラレましたw
まだいろいろ課題はあるようですが、本格的な6眼8眼360カメラ使ってる人なんかにも大朗報かと!
posted at 12:49:57
Insta360 RS1inchの元素のDual Fisheyeからダイレクトにアップしたものと今回EquirectangularにしてからNeRF化したものを比較。この場合は明らかにDual Fisheyeの方が格段にクオリティが高い。こういった課題をすごい速度でクリアしていく @LumaLabsAI の開発力は素晴らしい。 https://twitter.com/tommyoshima/status/1637849111847403520… https://pic.twitter.com/oGT6sPuovk
posted at 12:38:34
@LumaLabsAI のエクイレクタンギュラー対応で今までデュアルフィッシュアイだとどうしてもうまく行かなかったものが初めて成功した例
表裏のレンズ情報がおかしな事になってたけど今回シーンとして正常に成立した。
但し画質はデュアルフィッシュアイの方が高い。これがトレードオフという事か。 https://twitter.com/i/web/status/1641265045463248898… https://pic.twitter.com/Vnx6ZmGU9P
posted at 11:24:14
@LumaLabsAI There are a few Dual Fisheye content which never came up correctly but I just confirmed that it works fine with the Equirectangular version. Also…Not all the 360 users will keep the original footage once they render out the Equirectangular, so this is a huge progress anyway!
posted at 09:49:41
@kwea123 ありがとうございます!
今までデュアルフィッシュアイだとどうしてもうまくNeRF化出来なかったものがエクイレクタンギュラーでうまく行ったのが確認出来ました。いろいろトレードオフな部分も残っては居るかも知れませんが確実に進化してるのが分かって素晴らしいです。👍
posted at 09:46:19
@LumaLabsAI のウェブUIにいつの間にかエクレクタンギュラー形式が追加になってる…数多ある360度カメラのユーザーにとってはこれは朗報。特にディスク容量確保のために元素材を消してエクレクタンギュラーだけ残してる人も多い筈なのでこれは大きい。ちゃんと見てないといつも急に進化してるのよw https://twitter.com/tommyoshima/status/1641222190933905408…
posted at 08:44:47
Wow, now that the EQUIRECTANGULAR format can be uploaded on @LumaLabsAI Web UI! I didn't know this was added!
https://docs.lumalabs.ai/MCrGAEukR4orR9
The tips doc still doesn't refer to this newly added function, but this addition may help a lot of 360 folks!
#nerf #lumaAI #equirectangular https://pic.twitter.com/SKFpMd2KOn
posted at 08:33:57