主成分分析

简介

一个非监督的机器学习算法
主要用于数据的降维
通过降维,可以发现更便于人类理解的特征
可视化好,可去燥

问题

如何找到这个让样本间间距最大的轴
如何定义样本间间距

答案

使用方差Variance
V a r ( x ) = 1 m <munderover> i = 1 m </munderover> ( x i <mover accent="true"> x ˉ </mover> ) 2 Var(x)=\frac{1}{m}\sum\limits_{i=1}^m(x_i -\bar x)^2 Var(x)=m1i=1m(xixˉ)2
找到一个轴,使得样本空间的所有点映射到这个轴后,方差最大。
第一步:将样例的均值归为0(demean),对所有的样本进行demean处理,我们想要求一个轴的方向 w = ( w 1 , w 2 ) w=(w_1,w_2) w=(w1,w2)使得我们所有的样本,映射到 w w w以后,得到的方差最大。
V a r ( X p r o j e c t ) = 1 m <munderover> i = 1 m </munderover> X p r o j e c t ( i ) 2 Var(X_{project})=\frac{1}{m}\sum\limits_{i=1}^m||X_{project}^{(i)}||^2 Var(Xproject)=m1i=1mXproject(i)2

目标:求w,使得 V a r ( X p r o j e c t ) = 1 m i = 1 m ( X ( i ) w ) 2 Var(X_{project})=\frac{1}{m}\sum\limits_{i=1}^m(X^{(i)}\centerdot w)^2 Var(Xproject)=m1i=1m(X(i)w)2最大

一个目标函数的最优化问题,使用梯度上升法解决

demean

使原点基本处于数据中心

def demean(X):
    return X - np.mean(X,axis=0)
全部评论

相关推荐

07-23 14:04
东北大学 C++
既然这样,为什么不点击就送呢
牛马88号:因为你合适。但有很多笔试就挂了、通过了再排序的
点赞 评论 收藏
分享
06-26 17:24
已编辑
宁波大学 golang
迷失西雅图:别给,纯kpi,别问我为什么知道
点赞 评论 收藏
分享
07-02 10:39
门头沟学院 Java
Steven267:说点真实的,都要秋招了,还没有实习,早干嘛去了,本来学历就差,现在知道急了,而且你这个简历完全可以写成一页,劣势太大了,建议转测试
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务