wush978/supc

The Self-Updating Process Clustering Algorithms

This package implements the self-updating process clustering algorithms proposed by (Shiu and Chen 2016). This document shows how to reproduce the examples and figures in the paper.

According to the paper, The Self-Updating Process (SUP) is a clustering algorithm that stands from the viewpoint of data points and simulates the process how data points move and perform self-clustering. It is an iterative process on the sample space and allows for both time-varying and time-invariant operators.

The paper shows that SUP is particularly competitive for:

• Data with noise
• Data with a large number of clusters
• Unbalanced data

Installation

To build the package from source, the Windows user requires Rtools and the Mac OS X user requires gfortran.

To install the package from CRAN:

install.packages("supc")

To get the current development version from github:

# install.packages('remotes')
remotes::install_github("wush978/supc")

For details, please visit http://rpubs.com/wush978/supc

Reference

Shiu S and Chen T (2016). “On the strengths of the self-updating process clustering algorithm.” Journal of Statistical Computation and Simulation, 86(5), pp. 1010-1031. doi: 10.1080/00949655.2015.1049605, http://dx.doi.org/10.1080/00949655.2015.1049605, http://dx.doi.org/10.1080/00949655.2015.1049605.

supc's Issues

Running the tests in ‘tests/test-supc-random.R’ failed. on r-devel-linux-x86_64-debian-clang

嘗試用 rocker/r-devel-ubsan-clang 來重現錯誤，但是失敗了。
已經上傳 v0.2.1 ，等結果再看看

判斷center的tolerance要是tolerance的10倍

supc 參數的輸出

• 一個vector: 代表每一個點的cluster label。cluster label以cluster size排定
• 每一組收斂的位置: 重複的位置不列出
• 一個vector: 每一組的cluster size
• 畫出pairwise distance的分佈 以供後續使用者調整。 應當有參數可以設定是否畫出該圖

center可能的bug

library("fda")
data=t(cbind(matrix(growth$hgtm,31,39),matrix(growth$hgtf,31,54)))
ff=supc1(data, rp=0.2, t="dynamic")

另外就是我的碩班學生最近在跑 supc，偶爾會發現 cluster centers 有重覆的問題。 cluster 的結果看起來沒問題，好像是只有 centers 重複了。我把 output 貼在下面。
data 是在 "fda" library 裡的 growth。我們只要看身高，整理在 data 裡，是 39 位男生與 54 位女生在成長過程中 31 個時間點的成長曲線。
所以這邊是看成 samples 有 39+54 位，variables 有 31 個

tests fail on Prof. Ripley's machine: `Error: C stack usage 190223576 is too close to the limit`

請將 heatmap 裡的 "cluster size" 的字拿掉，覺得有些干擾 "r=" 的部份

supc demo example 1 的 code 要讓user 可以reproduce

資料集 D31 要放入 library 中

參數`r` 的設定

使用者可選擇輸入:

1. 可能得值，ex: r = 4, r = c(4, 6)。每一個值都需要做計算
2. 使用的percentile。 ex: rp = c(0.1, 0.35)。
3. default

資料集shape要放到套件中

enable verbose if `nrow(X) > 10000`

randomized 算法

Comments from Prof. Shiu about supc.Rmd

• 是否需要新增一個段落介紹 SUP 甚至相關的方法（如：blurring mean-shift），同時介紹 supc 這個套件整體而言可以做的事情？
• 若是會新增一個 overview 的段落（如上所述），這一段文字我會再修改，或需要加入與 blurring mean-shift 有關的敘述進來。
• 我不確定是不是把三個圖 side by side 一起呈現會比較好。跳動的圖對我老人家來說看不大清楚 XD

輸出結果可繪製為heatmap

dbscan std::bad_alloc when `nrow(X) == 2e5`

目前打算自己寫 dbscan 演算法,捨棄原本的dbscan套建中的實做

user interrupt

建立 SUPC Demo的vignettes

參數T的設定

1. static / dynamic
2. static , default: r / 5
3. dynamic, default: r / 20 + (r / 50)t

Paper中的實驗結果的重現