本帖最后由 zmztx 于 2019-7-27 08:13 编辑 , @2 N( h W& o, i3 o' c
$ D) x3 y' g$ n4 Q' R" u! B+ V1 N7 Pgoogle矩阵以及MapReduce算法(网上的一个简单解释版)
4 P1 q3 j$ Y/ n6 P
* m+ U4 J1 i6 L) k8 |/ `
. ?: H6 h$ u% Q& c2 \' Y# m# d+ I) R5 L: `# v# K
Map-Reduce, 通过将运算矩阵按页面分离到多个页面进行运算,例如运算节点1上放1000个页面,这1000个页面的外链有4000个,那么这个节点的矩阵也就是一个1000列,4000行的,那么Map-Redure可以取特征向量的对应的1000个(1列,1000行)的值到该节点进行矩阵运算,然后会得到一个(1列,4000行)的向量,每个页面实际对应到一行,传递到汇总节点进行汇总求和即可。 0 t+ x" Z+ G8 b4 e: U
这里有个问题就是可能各个运算节点的页面不一样,所以最终各个节点合并矩阵时,最终可以类似成为一个hash表一样定位页面,然后将各个页面算出来的一列向量进行定位求和,最终得到计算出来的特征向量,第一次计算出来之后,才能知道这次运算的向量到底是有多少个页面。 0 h, C. i2 |4 V5 {. M3 ^2 W4 G v
3 U; [2 D2 K; }( v/ t
2 N2 v ~5 u! g# @4 @6 ^" k |