Narrow dependencies-第二章第二节图FullDependency: N : N

[jerrylead]

Narrow dependencies-第二章第二节图FullDependency: N : N

[zzl0]

+1

[pzz2011]

+1

[wojiaohgl]

+1

[JerryLead]

Narrow指的是完全依赖，parentRDD中每个p中的数据不需要再进行partition后发给childRDD。下面的cartesian(otherRDD)展示了N:N的Narrow Dependency，整个计算过程不需要shuffle。

[liqul]

@JerryLead
个人觉得这里narrow vs. wide定义不是很清楚，感觉作者原意是想把确定的和随机的分开，所以如果中间有shuffle操作则为wide，否则为narrow。其实际的含义是确定和不确定的区别（即给定一个子partition，其父partition是完全确定的），而不是full还是partial。尤其，"essentially" 建议改为"typically"，否则意思上也是有自相矛盾的地方。