nobuyuki83/survey_cg_jp

survey_cg_jp's Issues

Multi-scale image harmonization

論文情報

• 学会：SIGGRAPH 2010
• PDFリンク：https://dl.acm.org/doi/pdf/10.1145/1778765.1778862

概要

複数の画像が自然に合成されるように，ブレンド前に見た目を一致させる操作をする．

手法

多重解像度の方法を使う．画像ピラミッドを構築するときに，スケールをうまく調整して，コンストラストやテクスチャやノイズやブラーなどがマッチして，アーチファクトが出ないようにする．

Color Compatibility From Large Datasets

論文情報

• 学会：SIGGRAPH 2011
• PDFリンク：https://www.dgp.toronto.edu/~donovan/color/colorcomp.pdf
• プロジェクページリンク：http://www.dgp.toronto.edu/~donovan/color/

概要

色の親和性を巨大なデータセットから構築して、色の選択を便利にする手法を作った

手法

• オンラインのデータセットを使って、人間の色の好みの理論を検証した

• カラーテーマ(color theme)と呼ばれる５つの色の組わせに関する定量的なモデルを構築した

• 既存のカラーテーマを改善したり、画像からテーマを抽出したりする学習モデルを構築した

Continuous Character Control with Low-Dimensional Embeddings

論文情報

• 学会：Siggraeph 2012
• PDFリンク：https://graphics.stanford.edu/projects/ccclde/ccclde.pdf
• プロジェクページリンク：https://graphics.stanford.edu/projects/ccclde/

概要

• キャラクタの動きの合成

• 新しい状況に対応するのに、過剰な量のデータやプログラミングが必要ない

手法

• 確率モデルを使ったキャラクタの動きの合成

• 少ないキャラクタの動きのデータから、ユーザーが指定したタスクを実行するアニメーションを作ることができる

• 低次元の空間を使ってキャラクタの姿勢を連続的に変化させる。

Data-Driven Image Color Theme Enhancement

論文情報

• 学会：SIGGRAPH Asia 2010
• ACMDLリンク：https://dl.acm.org/doi/abs/10.1145/1882261.1866172
• プロジェクページリンク：https://www.cse.cuhk.edu.hk/~ttwong/papers/colormood/colormood.html

概要

カラーテーマを画像に適応するためのデータ駆動の方法

手法

写真のデータベースから得られたテクスチャと色との関係を学習することで，自然な色を使う
（例えば葉っぱのテクスチャには青色に塗らない）

Rendering Complex Scenes with Memory-Coherent Ray Tracing

論文情報

• 学会：SIGGRAPH 1997
• PDFリンク：https://graphics.stanford.edu/papers/coherentrt/coherentrt-figs.pdf
• プロジェクページリンク：https://graphics.stanford.edu/papers/coherentrt/

主要な著者

• Matt Pharr
• Pat Hanrahan

概要

レイトレーシングの高速化．

手法

• キャッシュをつかって，テクスチャや形状の遅延処理をすることで，シーンの複雑性に対処する．

• キャッシュの効率を上げるために，動的に内容に応じてレンダリングの計算を並び替えて参照の局所性を上げる．

Inverse Volume Rendering with Material Dictionaries

論文情報

• 学会：SIGGRAPH 2013
• PDFリンク：http://vision.seas.harvard.edu/inverse/scatterometer.pdf
• プロジェクページリンク：http://vision.seas.harvard.edu/inverse/
• ACM DL: https://dl.acm.org/doi/10.1145/2508363.2508377

概要

半透明の物質は，物理パラメータを取得することが非常に難しい．

手法

モンテカルロ法に確率的最急降下法をして，物質データベースを組み合わせることで，放射輸送方程式の逆を計算する．

The iray light transport simulation and rendering system

論文情報

• 学会：SIGGRAPH 2017
• PDFリンク：
• プロジェクページリンク：
• ACM DL: https://dl.acm.org/doi/10.1145/3084363.3085050

概要

レイトレーシングとパストレーシングを簡単に実装できるIrayという，実用的でスケーラブルで効率的な光輸送シミュレーションのシステムを提案．

手法

英語

• A(our system) allows for B(complicated stuff) by the push of a button and thus makes C(hard goal) widely available.

A Low-Dimensional Function Space for Efficient Spectral Upsampling

論文情報

• 学会：Eurographics 2019
• PDFリンク：https://rgl.s3.eu-central-1.amazonaws.com/media/papers/Jakob2019Spectral_3.pdf
• プロジェクページリンク：https://rgl.epfl.ch/publications/Jakob2019Spectral

概要

RGBの色をスペクトル領域に拡張して，スペクトルレンダリングで使えるようにする方法を提案した．

手法

• 滑らかでエネルギー保存が得られるように低次元のパラメトリックモデルで反射スペクトルを表現する
• ６つの浮動小数点演算で計算できるほど軽量なモデルを提案した

Colorization Using Optimization

論文情報

• 学会：SIGGRAPH 2004
• 論文リンク：https://webee.technion.ac.il/people/anat.levin/papers/colorization-siggraph04.pdf
• プロジェクトページ： https://www.cs.huji.ac.il/~yweiss/Colorization/
• ACM DL: https://dl.acm.org/doi/10.1145/1186562.1015780

概要

入力：黒白画像や動画に，アーティストが部分的に色を塗る

出力：塗った色が全体に広がり，カラー画像や動画になる．

手法

似た輝度を持つ隣接画像が，似た色を持つという仮定のもと，二次のコスト関数を最適化することで着色する

Material Memex: Automatic Material Suggestions for 3D Objects

論文情報

• 学会：SIGGRAPH 2012
• PDFリンク：http://resources.mpi-inf.mpg.de/MaterialMemex/MaterialMemex.pdf
• プロジェクページリンク：

概要

• 三次元形状とその部品のマテリアルは，形状とその部品との関係に相関性が高い．

• そのような相関性を数百個の形状とそのマテリアルから学習するモデルを提案する．

• 学習した結果，マテリアルのサジェスチョンなどができる．

手法

Example-based image color and tone style enhancement

論文情報

• 学会：SIGGRAPH 2011
• PDFリンク：https://dl.acm.org/doi/pdf/10.1145/2010324.1964959
• プロジェクページリンク：https://dl.acm.org/doi/abs/10.1145/2010324.1964959

概要

手法

Color Harmonization

論文情報

学会：SIGGRAPH 2006

論文リンク：https://www.microsoft.com/en-us/research/wp-content/uploads/2006/07/harmonization.pdf

概要

調和色(Harmonic colors)は見た目に綺麗な色の集合．

入力が画像で，出力が調和色になるように色が変えられた画像

手法

1. 画像の入力に対して最も適した調和色のスキームを選ぶ
2. あるピクセルに対して，画像の色相(hue)を，隣のピクセルとの一貫性を保ちつつ調和色のスキームにフィットさせるべく最適化する

Anisotropic Gaussian Mutations for Metropolis Light Transport through Hessian-Hamiltonian Dynamics

論文情報

• 学会：SIGGRAPH 2015
• PDFリンク：https://people.csail.mit.edu/tzumao/h2mc/h2mc.pdf
• プロジェクページリンク：https://people.csail.mit.edu/tzumao/h2mc/

概要

高速な光輸送シミュレーション

手法

• MCMCレンダリングアルゴリズムを提案，メトロポリス光輸送を，局所的な被積分関数の形に適応させることで加速率を上げる．

• 出力の局所的な様子を，グラジエントやヘシアンを使って表現する．特にヘシアンは強い異方性を表現できる．自動微分を使って微分の情報を得るので拡張するのがとても簡単．

前提知識

• 光沢のある物質に対する，マルチバウンスの光輸送のシミュレーションは被積分関数が高次元だし，結果に貢献する領域が非常に小さいので難しい．

Probabilistic color-by-numbers: suggesting pattern colorizations using factor graphs

論文情報

• 学会：SIGGRAPH 2013
• PDFリンク：https://dl.acm.org/doi/pdf/10.1145/2461912.2461988
• プロジェクページリンク：http://graphics.stanford.edu/projects/patternColoring/

概要

手法

Gaussian Material Synthesis

論文情報

• 学会：ToG 2018
• PDFリンク：https://arxiv.org/pdf/1804.08369.pdf
• プロジェクページリンク：https://users.cg.tuwien.ac.at/zsolnai/gfx/gaussian-material-synthesis/

概要

• 学習ベースの大規模な材質の光学特性の合成

手法

• ガウス過程回帰を使うことでユーザーの操作を学習して，次の操作を例示にする．

• ニューラルネットワークを使うことでリアルタイムで高品質の画像を一覧してプレビューして，材質の光学特性を直感的に適応できる．

Differentiable Monte Carlo Ray Tracing through Edge Sampling

論文情報

• 学会：SIGGRAPH Asia 2018
• PDFリンク：https://people.csail.mit.edu/tzumao/diffrt/diffrt.pdf
• プロジェクページリンク：https://people.csail.mit.edu/tzumao/diffrt/

概要

• 汎用な微分可能レンダラを提案．PyTorchで実装される．

手法

新しいエッジ・サンプリングという，不連続な被積分関数を微分した時に発生するディラック関数をサンプリングする方法を提案．

前提知識

• 勾配ベースの方法は，コンピュータグラフィックスや，機械学習やコンピュータビジョンで重要になってきている．勾配を計算することは最適化や逆問題や深層学習に重要だ．
• レンダリングの微分は可視性の項が微分不可能なので難しい．
• 微分可能レンダリングの既存研究は近似解を求めることに焦点を当てていた．
• 既存研究は，グローバルイルミネーションや影などの二次的なエフェクトを無視したり，ピクセル座標に対する微分以外の微分を提供しない．

Mitsuba 2: A Retargetable Forward and Inverse Renderer

論文情報

• 学会：Siggraph Asia 2019
• PDFリンク：https://rgl.s3.eu-central-1.amazonaws.com/media/papers/NimierDavidVicini2019Mitsuba2_7.pdf
• プロジェクページリンク：https://rgl.epfl.ch/publications/NimierDavidVicini2019Mitsuba2

概要

C++のテンプレート・メタ・プログラミングを使った、汎用的な物理ベースのレンダラと微分可能レンダラを開発した。

手法

Color2Gray: Salience-Preserving Color Removal

論文情報

• 学会：SIGGRAPH 20
• PDFリンク：
  • https://users.cs.northwestern.edu/~ago820/color2gray/color2gray.pdf
  • https://dl.acm.org/doi/10.1145/1073204.1073241

概要

入力：カラー画像
出力：グレイスケール画像

カラー画像をグレイスケールに変換した時に色の重要な変化が消えてしまわないように最適化する．

手法

1. 入力RGB画像をCIE Lab色空間に変換
2. 隣接するピクセルについて，色と明るさの差からグレイスケールの差を計算
3. 最適化計算をしてグレイスケール値を入力画像の色の変化から計算

Non-photorealistic Camera: Depth Edge Detection and Stylized Rendering using Multi-Flash Imaging

論文情報

• 学会：SIGGRAPH 2004
• PDFリンク：https://web.media.mit.edu/~raskar/NprCamera/Slides
• プロジェクページリンク：https://web.media.mit.edu/~raskar/NprCamera/

概要

写真を撮っただけでエッジの部分を強調できるようなNPR的な効果を生み出すカメラを作った

手法

複数の巧妙に配置されたフラッシュを照らすことで，深さが不連続な部分を影として捉えることができる．