buddies-as-you-know/research_docs

research_docs's Issues

Green LAI Mapping and Cloud Gap-Filling Using Gaussian Process Regression in Google Earth Engine

論文リンク
Green LAI Mapping and Cloud Gap-Filling Using Gaussian Process Regression in Google Earth Engine

著者/所属機関
著者: Yuhao Lu, Xiangming Xiao, Yuanwei Qin, Jinwei Dong, Yao Zhang, Geli Zhang, Cui Jin, Michael A. Lefsky, Berrien Moore
所属機関:
Department of Microbiology and Plant Biology, Center for Spatial Analysis, University of Oklahoma, Norman, OK, USA
State Key Laboratory of Remote Sensing Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing, China
Department of Natural Resource Ecology and Management, Oklahoma State University, Stillwater, OK, USA
Department of Forest and Rangeland Stewardship, Colorado State University, Fort Collins, CO, USA
投稿年
投稿年: 2021
概要：
この論文では、Google Earth Engine (GEE)を使用して、ガウス過程回帰(GPR)を用いた緑のLAI(Leaf Area Index)のマッピングとクラウドギャップの埋め込みに関する研究が行われています。LAIは植生の生物量や生産性を評価するための重要な指標であり、クラウドギャップの埋め込みは、クラウドカバーによるデータの欠損を補完するための手法です。

研究背景
LAIは、地球上の植生の生物量や生産性を評価するための重要な指標であり、その正確なマッピングは、気候変動、生態系の健康、および環境管理の研究に不可欠です。しかし、クラウドカバーの存在により、リモートセンシングデータにはギャップが生じることがあり、これを解消するための効果的な手法が求められています。

提案手法
著者たちは、GEEを使用して、GPRを用いた緑のLAIのマッピングとクラウドギャップの埋め込みを行う手法を提案しています。GPRは、データの欠損部分を補完するための強力な統計的手法であり、この研究ではその有効性が示されています。

実験
著者たちは、異なる地域と季節におけるLAIのマッピングとクラウドギャップの埋め込みの実験を行い、提案手法の有効性を検証しました。結果として、GPRを使用したクラウドギャップの埋め込みは、従来の手法に比べて高い精度でLAIのマッピングが可能であることが示されました。

感想
この論文は、LAIのマッピングとクラウドギャップの埋め込みに関する新しいアプローチを提供しており、リモートセンシングの分野における重要な貢献となっています。GEEとGPRの組み合わせにより、より正確なLAIのマッピングが可能となり、これにより植生の生物量や生産性の評価がより正確に行えるようになります。

参考
MDPI - Remote Sensing
どんなもの？
Google Earth Engineを使用した、ガウス過程回帰を用いた緑のLAIのマッピングとクラウドギャップの埋め込みに関する研究。

先行研究と比べてどこがすごい?
GPRを使用したクラウドギャップの埋め込みにより、従来の手法に比べて高い精度でLAIのマッピングが可能であることが示されています。

技術や手法のキモはどこ?
GEEとGPRの組み合わせによる、緑のLAIのマッピングとクラウドギャップの埋め込み。

どうやって有効だと検証した?
異なる地域と季節におけるLAIのマッピングとクラウドギャップの埋め込みの実験を行い、提案手法の有効性を検証。

Deep Learning for 3D Point Clouds: A Survey

Deep_Learning_for_3D_Point_Clouds_A_Survey.pdf

NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields

図2:
シミュレーターでシーンを再現するためのシステムの概要。A. 一般的な携帯電話を使用して現場のビデオを収集します。B. ストラクチャー・フロム・モーション ソフトウェアを使用して、ビデオのサブセットにカメラのポーズをラベル付けします。C. ラベル付き画像で NeRF をトレーニングします。D. ロボットのヘッドマウント カメラの調整された組み込み関数を使用して、新しいビューからシーンをレンダリングします。E. 同じ NeRF を使用して、シーン ジオメトリをメッシュとして抽出します。メッシュを粗くして、床を平らなプリミティブに置き換えます。F. 物理シミュレーターで、単純化されたメッシュをロボットのモデルやその他の動的オブジェクトと組み合わせます。図を参照してください。このステップの詳細については、3 を参照してください。

MujoCo シミュレーションは、(1) 学習された静的シーン メッシュ (セクション III-E )、(2) 動的オブジェクト メッシュ、および (3) 学習された静的シーンの NeRF レンダリング (セクション III-D )を組み合わせて作成されます。 ) 動的オブジェクト (上のカメラ画像のボールとロボットの左腕) の Mujoco レンダリングがオーバーレイされます。他の動的パラメータ (摩擦など) は既知であるか、測定されていると想定されます。

ポリシーのネットワーク アーキテクチャ。

エージェントのローカリゼーション パフォーマンス。上の行: 成功したゼロショット転送トライアルからのロボット カメラの画像。ターゲットは鉢植えの隣です。下の行: シーン内でのロボットの 2D 位置に対するロボットの信念を視覚化したもので、シーンのトップダウン ビューのヒートマップとして表示されます。白い X: モーション キャプチャからのグラウンド トゥルースの位置 (ポリシーには入力されません)。緑の三角形: ターゲットの位置。

ナビゲーションおよび障害物回避タスクに関するトレーニング済みポリシーのシミュレーションおよび実際のパフォーマンス (標準誤差あり)。所要時間とローカリゼーション エラー値は、すべての評価エピソードにわたる統計の**値です。

ボールを押すタスクにおける訓練されたポリシーのシミュレーションと実際のパフォーマンス (標準誤差あり)

論文リンク

https://sites.google.com/view/nerf2real/home

著者/所属機関

Arunkumar Byravan*, Jan Humplik*, Leonard Hasenclever*, Arthur Brussee*, Francesco Nori, Tuomas Haarnoja, Ben Moran, Steven Bohez, Fereshteh Sadeghi, Bojan Vujatovic and Nicolas Heess / DeepMind

投稿年

2023年

概要：

sim2real アプローチを、リアルなビジュアルを備えた「野生の」シーンと、RGB カメラを使用した能動的な知覚に依存するポリシーに適用するためのシステムを紹介します。 一般的な携帯電話を使用して収集された静的シーンの短いビデオが与えられると、シーンの接触ジオメトリと、Neural Radiance Field (NeRF) を使用した新しいビュー合成の関数が学習されます。 他の動的オブジェクト (ロボット自身の体やボールなど) のレンダリングをオーバーレイすることで、静的シーンの NeRF レンダリングを強化します。 次に、静的なシーンのジオメトリ (NeRF ボリューム密度から推定) と動的オブジェクトのジオメトリおよび物理的特性 (既知であると仮定) から接触ダイナミクスを計算する物理シミュレータのレンダリング エンジンを使用してシミュレーションが作成されます。 このシミュレーションを使用して、ヘッドマウント RGB カメラを作動させた 20 自由度の人型ロボットのビジョンベースの全身ナビゲーションとボール押しのポリシーを学習できることを実証し、これらのポリシーを実際のロボットに移行することに成功しました。

研究背景

シミュレーションでの制御ポリシーのトレーニングとそれらを実際のロボットに転送することは、ロボティクスにおいて人気のあるパラダイムです。これは、ハードウェア上で直接学習する際の問題（状態推定、安全性、データ効率など）を避けるアプローチです。
しかし、正確で現実的なシミュレーションの作成は時間がかかります。シミュレーションと現実世界とのギャップを縮めるためには、一部のシステムのニューラルネットワークモデルの学習や、システム識別ツールの使用、または手動チューニングが含まれる場合があります。

提案手法

• この論文では、主に一般的なモバイルカメラからのビデオを使用して、RGBカメラビューの非常に現実的なレンダリングと正確なジオメトリを備えた視覚的に複雑なシーンのシミュレーションモデルの半自動生成システムを説明しています。
• これを達成するために、Neural Radiance Fields (NeRF)を利用した最近のニューラルシーン表現の進歩を利用しています。NeRFは、疎な入力ビューから新しいフォトリアルなビューを合成することを可能にするシーン表現のクラスです。

どんなもの？

この研究は、Neural Radiance Fields (NeRF)を利用して、視覚に基づく二足歩行ロボットの動作スキルをシミュレーションから現実世界へと移行する方法について述べています。具体的には、モバイルカメラからのビデオを主に使用して、RGBカメラビューの高度にリアルなレンダリングと正確なジオメトリを備えた視覚的に複雑なシーンのシミュレーションモデルを半自動的に生成するシステムを紹介しています。

先行研究と比べてどこがすごい?

従来のアプローチでは、屋外シーンでの動作が不十分であったり、特殊な3Dスキャン設定を必要とするなど、フォトリアルなシーンの再構築とレンダリングが困難でした。この研究では、NeRFを使用することで、一般的なモバイルデバイスからのビデオや写真から直接学習でき、レンダリング機能だけでなく、基礎となるシーンジオメトリにもアクセスできるようになっています。これにより、実世界のシーンの視覚をシミュレーションで再現するための一般的なシステムが可能になります。

技術や手法のキモはどこ?

キーポイントは、Neural Radiance Fields (NeRF)の利用です。NeRFは、疎な入力ビューから新しいフォトリアルなビューを合成することができるシーン表現のクラスです。この技術は、動的なシーンや変形可能なオブジェクトを扱う拡張機能と組み合わせることで、リアルタイムの高品質なシーン再現が可能になります。

どうやって有効だと検証した?

論文の序盤部分では、実世界のタスク（ロボットがボールを特定の領域に押すなど）におけるシミュレーションと現実世界との間の移行の効果を示す実験結果が提示されています。これは、シミュレーションで訓練されたポリシーが現実世界のタスクでどのように機能するかを示すものです。

論文の主張やビジョンそのものに問題はないか？

• 5～6分間のビデオから得られる約1000フレームを使用して、COLMAPによる位置特定に3～4時間かかります。次に、このデータセットでのNeRFのトレーニングには、8台のV100をクラスターに接続して約20分かかりますが、さらに高速化することが可能です[11]。メッシュの抽出とシミュレーション設定のための後処理には数時間かかり、最終的にナビゲーションのポリシーのトレーニングには約24時間（約800万回の勾配更新と1億2800万回の環境ステップ）かかり、ボールを押す行動にはそれの2倍の時間が必要です。（時間を早くできるかも）
  [11]https://www.slideshare.net/DeepLearningJP2016/dlinstant-neural-graphics-primitives-with-a-multiresolution-hash-encoding

参考文献のcollision設定

• 占有率のボクセル化: 予測された占有率をボクセル化し、それを利用してマーチングキューブアルゴリズムを使用してメッシュを計算します。(Nerfの作り方)
• シミュレーション内での衝突のためのメッシュ利用: このメッシュをシミュレーション内の衝突処理に利用します。
• COLMAPからのカメラポーズ取得: COLMAPからカメラポーズを取得し、それによって衝突メッシュの頂点も任意の参照フレームで表現されます。
• リジッド変換とスケールの推定: この参照フレームとシミュレータのワールドフレームとの間のリジッド変換とスケールを推定します。このために、最小二乗最適化を解決し、メッシュ内の支配的な床面の法線ベクトルがシミュレータのz軸と整列するように制約を設定します。
• Blenderの利用: Blenderを使って、この目的のためにメッシュの床上の点を手動で選択します。
• メッシュの手動回転: シミュレータのワールドフレームとの所望の整列を得るために、メッシュをz軸周りに手動で回転させます。
• NeRFとワールド間の相対スケールの計算: メッシュ内のオブジェクトのサイズと実世界でのサイズを比較して、NeRFとワールド間の相対スケールを計算します。
• 床頂点の置き換え: テクスチャの欠如によるアーティファクトを持つ可能性のあるメッシュの床頂点を、フラットプレーンで置き換えます。
• メッシュのクロップ: シミュレーションに必要な範囲にメッシュをクロップし、衝突計算を高速化します。