yamamoto-yuta/paper-summary

リポジトリの概要

読んだ論文をissueにまとめる

issueの構造

close : 読み終わったもの
open : 読んでる途中 or 今後読む予定

paper-summary's Issues

Market value and patent citations

0. 論文

タイトル：Market value and patent citations
著者： Bronwyn H. Hall, Adam Jaffe and Manuel Trajtenberg

arXiv投稿日： - (2005)
学会/ジャーナル： The RAND Journal of Economics

1. どんなもの？

企業の特許の重要性を測る指標として，特許引用の有効性を検討した

2. 先行研究と比べてどこがすごい？

• ある企業の特許の引用数が1件増えると，その企業の市場価値が3％上昇することを示した
• 「予測不可能な」被引用は予測可能な部分よりも強い効果があることを示した
• 自己引用の方が外部引用よりも価値が高いことを示した

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

• 引用に関する重要な情報を蓄積するには時間が必要
  →引用ベースの分析は現在や直近のイノベーションの評価に使えない

6. 次に読むべき論文は？

• Citations allow one also to probe into other aspects of innovations, such as their “originality,” “generality,” links to science, etc. – see Trajtenberg, Henderson, and Jaffe (1997)

キーワード

[auto] View-Invariant Probabilistic Embedding for Human Pose

論文まとめ

1. 論文

タイトル： View-Invariant Probabilistic Embedding for Human Pose
著者：

arXiv投稿日：
学会/ジャーナル：

2. どんなもの？

3. 先行研究と比べてどこがすごい？

4. 技術や手法のキモはどこ？

5. どうやって有効だと検証した？

6. 議論はある？

7. 次に読むべき論文は？

メモ

Word Rotator's Distance: Decomposing Vectors Gives Better Representations

0. 論文

タイトル：Word Rotator's Distance: Decomposing Vectors Gives Better Representations
著者： Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui

arXiv投稿日： 30 Apr 2020
学会/ジャーナル：

1. どんなもの？

• テキスト間の意味的類似性を評価する手法の提案

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

• 単語ベクトルのノルムを重要度の重み，方向を別の単語との類似性として使用し，EMDに入力する
  

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

• Earth Mover's Distance(EMD)

キーワード

WaveNet: A Generative Model for Raw Audio

0. 論文

タイトル：WaveNet: A Generative Model for Raw Audio
著者： Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu

arXiv投稿日： 2016/9/12
学会/ジャーナル：

1. どんなもの？

• 生のオーディオ波形を生成するためのディープ・ニューラル・ネットワーク

2. 先行研究と比べてどこがすごい？

• TTSに適用した場合、WaveNetsは主観的な自然さにおいて現在の最高のTTSシステムを上回るサンプルを生成

3. 技術や手法のキモはどこ？

• 畳み込む際に，入力値を一定の間隔でスキップして畳み込む
• これにより，たった数層で非常に大きな受容野を持つことが可能になる
  

• 受容野：CNN のある層の一つのユニットを考えるとき，このユニットの出力に影響を及ぼし得る入力画像平面の領域（画素の集合）のことを，受容野（receptive field）と呼ぶ参考
  

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

N-BEATS: NEURAL BASIS EXPANSION ANALYSIS FOR INTERPRETABLE TIME SERIES FORECASTING

0. 論文

タイトル：N-BEATS: NEURAL BASIS EXPANSION ANALYSIS FOR INTERPRETABLE TIME SERIES FORECASTING
著者： Boris N. Oreshkin, Dmitri Carpov, Nicolas Chapados, Yoshua Bengio

arXiv投稿日： 2019/5/24
学会/ジャーナル： -

1. どんなもの？

• 後方および前方の残差リンクと完全に接続された層の非常に深いスタックに基づくディープニューラルアーキテクチャの提案

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

• 基本構成は、ReLU非線形性をもつ多層全結合

• 基底展開係数を未来方向（forecast）と過去方向（backcast）で予測する

• 予測したい期間の数倍（2~7倍が典型的）期間をモデルに入力する

• Block の構成

  • 入力を４層の全結合層（ReLU）に通す
  • そのあと、未来方向と過去方向に分けてそれぞれ全結合層（ReLU）に通す
  • そのあと、それぞれLinear層に通す
  • 最後に、g(*)層に通す
    • g(*)では、Linear層の出力にそれぞれ未来方向と過去方向の基底ベクトル（予測基底ベクトル）をかけたものを次元数だけ足し合わせたものを出力する

• Stackとモデル全体の構成

  • StackはBlockを直列に接続した残差ネットワーク
  • Stackとモデルでそれぞれ

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Applying Deep Learning to Airbnb Search

0. 論文

タイトル：Applying Deep Learning to Airbnb Search
著者：

arXiv投稿日：
学会/ジャーナル：

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Community Detection and Growth Potential Prediction from Patent Citation Networks

0. 論文

タイトル：Community Detection and Growth Potential Prediction from Patent Citation Networks
著者： Asahi Hentona, Takeshi Sakumoto, Hugo Alberto Mendoza España, Hirofumi Nonaka, Shotaro Kataoka, Toru Hiraoka, Kensei Nakai, Elisa Claire Alemán Carreón, Masaharu Hirota

arXiv投稿日： 2019/4/23
学会/ジャーナル： MEDES(2018)

1. どんなもの？

• 特許コミュニティの自動検出+各コミュニティの成長性予測

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

1. 特許データベースから引用ネットワークを抽出
2. Node2Vecで引用ネットワーク内の特許コミュニティを検出
3. 各コミュニティの成長性を予測
   

4. どうやって有効だと検証した？

• 検出したコミュニティに属する特許をランダムに参照して技術分野を調べたら，

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Market Value and Patent Citations

0. 論文

タイトル：Market Value and Patent Citations
著者：

arXiv投稿日：
学会/ジャーナル：

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Community Detection and Growth Potential Prediction Using the Stochastic Block Model and the Long Short-Term Memory from Patent Citation Networks

0. 論文

タイトル：Community Detection and Growth Potential Prediction Using the Stochastic Block Model and the Long Short-Term Memory from Patent Citation Networks
著者： Kensei Nakai, Hirofumi Nonaka, Asahi Hentona, Yuki Kanai, Takeshi Sakumoto, Shotaro Kataoka, Elisa Claire Alemán Carreón, Toru Hiraoka

arXiv投稿日： 2019/4/23
学会/ジャーナル： IEEE(2018)

1. どんなもの？

• 確率的ブロックモデルによる特許引用ネットワークのクラスタリングとその成長性予測

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

• 特許DBから特許の引用ネットワークを作成
• Nested SBMでネットワークからコミュニティを検出
• LSTMでコミュニティの成長性を分析
  

4. どうやって有効だと検証した？

5. 議論はある？

• LSTMによる予測は短期間にデータが増減するコミュニティでは精度が良くなく，長期的な傾向のあるコミュニティでは精度が良かった
• ノード数やLSTMの層数を考慮した改善が必要

6. 次に読むべき論文は？

• Nested SBM

キーワード

Patent, Stochastic Block Model, Long ShortTerm Memory, Patent scoring

Automatic patent classification using citation network information: an experimental study in nanotechnology

0. 論文

タイトル：Automatic patent classification using citation network information: an experimental study in nanotechnology
著者： Xin Li, Hsinchun Chen, Zhu Zhang, Jiexun Li

arXiv投稿日： None
学会/ジャーナル： JSDL (2007)

1. どんなもの？

• 引用ネットワーク情報を用いた特許の自動分類

2. 先行研究と比べてどこがすごい？

• 特許の引用ネットワークから自動分類を行う
• 直接引用のみではなく、引用ネットワークの構造を利用
• 過去の特許分類研究で最も優れた手法の一つである線形テキストカーネルを大幅に凌駕し

3. 技術や手法のキモはどこ？

• 特許のコンテンツと引用関連情報をとらえるためのカーネル関数を構築
• ラベル付き引用グラフカーネル（K_Gra）を提案
  

4. どうやって有効だと検証した？

• USPTOデータベースのナノテクノロジーデータセットを用いてカーネルの性能を評価

5. 議論はある？

• 直接引用より引用ネットワーク構造を使用したほうがパフォーマンスが良かった
  • 間接引用された特許間の関係を明らかにし、類似の引用を持つ特許をより明確に区別できるようになったことが原因
• 分類カテゴリを使った方が、使ってない場合より性能が良かった

6. 次に読むべき論文は？

キーワード

Patent Classification, Machine Learning, Kernel-based Method, Citation Network, Graph Kernel, Nanotechnology

EQL -- an extremely easy to learn knowledge graph query language, achieving highspeed and precise search

0. 論文

タイトル：EQL -- an extremely easy to learn knowledge graph query language, achieving highspeed and precise search
著者： Han Liu, Shantao Liu

arXiv投稿日： 2020/3/19
学会/ジャーナル：

1. どんなもの？

• EQL(Extremely Simple Query Language)について

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

• シンプルさと学習のしやすさを追求しているので、誰もがすぐにマスターすることができる
• ナレッジグラフ、精密検索、強力な人工知能、データベース、スマートスピーカー、特許検索などの分野で広く利用されている

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

node2vec: Scalable Feature Learning for Networks

0. 論文

タイトル：node2vec: Scalable Feature Learning for Networks
著者： Aditya Grover, Jure Leskovec

arXiv投稿日： 2016/7/3
学会/ジャーナル： ACM(2016)

1. どんなもの？

• ネットワーク上のノードの連続的な特徴表現を学習するためのアルゴリズムフレームワークの提案

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

• グラフ上をランダムウォークする
• その際，バイアスとして，あるノードの近傍をどのくらいの速度で探索・離脱するかを制御する
• これにより，BFS（幅優先探索）とDFS（深さ優先探索）との間を補完した探索ができる
  

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Information networks, Feature learning, Node embeddings, Graph representations.

Patent Mining: A Survey

0. 論文

タイトル：Patent Mining: A Survey
著者： Longhui Zhang, Lei Li, Tao Li

arXiv投稿日： -
学会/ジャーナル： ACM (2015)

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Exploring Legal Patent Citations for Patent Valuation

0. 論文

タイトル：Exploring Legal Patent Citations for Patent Valuation
著者： Shuting Wang, Zhen Lei, Wang-Chien Lee

arXiv投稿日：
学会/ジャーナル： CIKM(2014)

1. どんなもの？

• 法的引用と技術的引用を区別する4つの特許品質指標を定量化するためのアルゴリズムの提案・開発

2. 先行研究と比べてどこがすごい？

• 特許引用の種類を区別して特許評価に適用した初めての研究

3. 技術や手法のキモはどこ？

• 特許を4つの特許品質指標をもとにスコアリング

• 4つの特許品質指標＝技術的影響力、技術的豊かさ、ブロッキング力、法的特許範囲

• 特許の引用＝技術的に意味のある引用

• 引用時に引用特許の有効期限が切れていなかった場合，その引用は法的にも意味がある

• 技術的影響力(TI) = その特許が受ける前方引用の数

• 技術的豊かさ(TR) = その特許が行う後方引用の数

• ブロッキング力(BP) = 特許の有効期限が切れていないときの特許πに対する法的引用の数

• 法的特許範囲(LS) = 引用された特許の有効期限が切れていないときに特許πが行う引用の数

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Toward Stock Price Prediction using Deep Learning

0. 論文

タイトル：Toward Stock Price Prediction using Deep Learning
著者： Chun-Hung Cho, Guan-Yi Lee, Yueh-Lin Tsai, Kun-Chan Lan

arXiv投稿日： -
学会/ジャーナル： UUC (2019)

1. どんなもの？

• LSTM, Seq2seq, WaveNetの３つの手法で株価予測性能を比較

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

• WaveNet最も優れた性能を発揮した
  

4. どうやって有効だと検証した？

• **の株価情報932件に対して予測モデルを作成
  • Yahoo Finance APIで収集
  • 2007年-2016年を学習データ、2017年-2019年をテストデータ
• 入力特徴量
  • A. 過去の取引データ（始値、高値、安値、終値（OHLC 変数））
  • B. 各株式のために13の広く使用されているテクニカル指標
  • C. マクロ経済変数（為替レート、金利）
• 2017年の**の上位5銘柄で予測性能を比較
• 予測価格と実際の価格のRMSEと相関係数を評価指標とした
• 予測期間を7日、14日、21日でやってみたら、平均して21日が一番性能が良かった

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Deep Learning, stock prediction, LSTM, Seq2seq, WaveNet

Introduction to Rare-Event Predictive Modeling for Inferential Statisticians -- A Hands-On Application in the Prediction of Breakthrough Patents

0. 論文

タイトル：Introduction to Rare-Event Predictive Modeling for Inferential Statisticians -- A Hands-On Application in the Prediction of Breakthrough Patents
著者： Daniel Hain, Roman Jurowetzki

arXiv投稿日： 2020/3/30
学会/ジャーナル：

1. どんなもの？

• 経済・経営・技術の予測研究における，予測パフォーマンスの最適化に向けた定量分析への機械学習（ML）アプローチを紹介

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Predictive Modeling, inferential statistics, Machine Learning, Neural Networks, Deep Learning, Anomaly Detection, Deep Autoencoder

A Generalized Framework for Population Based Training

0. 論文

タイトル：A Generalized Framework for Population Based Training
著者： Ang Li, Ola Spyra, Sagi Perel, Valentin Dalibard, Max Jaderberg, David Budden, Tim Harley, Pramod Gupta

arXiv投稿日： 2019/4/5
学会/ジャーナル： KDD (2019)

1. どんなもの？

• 一般的なブラックボックス型のPBTフレームワークの提案

2. 先行研究と比べてどこがすごい？

• 従来のPBT実装は同期化されたグラスボックス型だったのに対し、提案手法はブラックボックス型

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

メモ

• Population Based Training (PBT)
  • ニューラルネットワークの重みとハイパーパラメータを共同で最適化する手法
  • トレーニング中にベストパフォーマーの重みを周期的にコピーし、ハイパーパラメータを変異させる

キーワード

An Improved Method of COVID-19 Case Fitting and Prediction Based on LSTM

0. 論文

タイトル：An Improved Method of COVID-19 Case Fitting and Prediction Based on LSTM
著者： Bingjie Yan, Xiangyan Tang, Boyi Liu, Jun Wang, Yize Zhou, Guopeng Zheng, Qi Zou, Yao Lu, Wenxuan Tu

arXiv投稿日： 2020/5/5
学会/ジャーナル：

1. どんなもの？

• LSTMニューラルネットワークに基づく確定症例予測のための改良手法の提案

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

• ウェブサイトで提供されている各国・地域の21日間の症例データを用いて、累積診断数、新規診断数、1日の累積増加率、政府が市を閉鎖するかどうかをモデル入力とし、パラメータをMinMaxScaler標準化処理で設定
• 完全に接続されたニューラルネットワークを介して、データの特徴をさらに抽出し、LSTM層へ入力
• LSTMニューラルネットワークを構築し、時系列の長さ、学習率、予測する日数を設定
• 訓練セットのデータが膨大であることを考慮して、フィッティング偏差を小さくするために、LSTMモデルを改良し、統一標準偏差を判定基準とし、全体のカーディナリティに基づく方法でデータを縮小

4. どうやって有効だと検証した？

• 感染症例のベースが大きい湖北省、河南省、浙江省の3省で診断数を予測
• 提案手法、ロジスティックアルゴリズム、ヒル方程式アルゴリズムの各手法の予測結果と実測値を比較
• 提案手法が最も実測値に近い予測値を叩き出した

5. 議論はある？

6. 次に読むべき論文は？

キーワード

COVID-19, LSTM model, predictive analysis

Patent search using IPC classification vectors

0. 論文

タイトル：Patent search using IPC classification vectors
著者： Manisha Verma, Vasudeva Varma

arXiv投稿日：
学会/ジャーナル： PaIR(2011)

1. どんなもの？

• IPC分類と引用文を組み合わせた類似特許検索

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

キーワード

Patent Retrieval, Keyphrase Extraction