Bias-Variance Tradeoff

准确是两个概念。准是 bias 小,确是 variance 小。准确是相对概念,因为 bias-variance tradeoff。 -Guannan Liu 在机器学习领域,人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」,其实就是误差小。在领域中,排除人为失误,人们一般会遇到三种误差来源:随机误差、偏差和方差。偏差和方差又与「欠拟合」及「过拟合」紧紧联系在一起。由于随机误差是不可消除的,所以此篇我们讨论在偏差和方差之间的权衡(Bias-Variance Tradeoff)。 定义 数学上定义 首先需要说明的是随机误差。随机误差是数据本身的噪音带来的,这种误差是不可避免的。一般认为随机误差服从高斯分布,记作 ϵ∼(0,σϵ)ϵ∼N(0,σϵ)。因此,若有变量 yy 作为预测值,以及 XX 作为自变量(协变量),那么我们将数据背后的真实规律 ff 记作 y=f(X)+ϵ.y=f(X)+ϵ. 偏差和方差则需要在统计上做对应的定义。 偏差(bias)描述的是通过学习拟合出来的结果之期望,与真实规律之间的差距,记作 Bias(X)=E[f̂ (X)]−f(X)Bias(X)=E[f^(X)]−f(X)。 方差(variance)即是统计学中的定义,描述的是通过学习拟合出来的结果自身的不稳定性,记作 Var(X)=E[(f̂ (X)−E[f̂ (X)])2]Var(X)=E[(f^(X)−E[f^(X)])2]。 以均方误差为例,有如下推论 Err(X)=E[(y−f̂ (X))2]=E[(f(X)+ϵ−f̂ (X))2]=(E[f̂ (X)]−f(X))2+E[(f̂ (X)−E[f̂ (X)])2]+σ2ϵ…

Continue Reading →

【观点】美国科技蓝筹的转型之痛,IBM与微软财报解读!

我在不知不觉中,投资美股已经有几年了。经过无数次财报月的兴奋。每年这个时候,市场可谓是一年一度的“财报春晚”. 昨晚,一边是mift的跳空低开,一边是aapl盘后惊人的财报…………我还是写点什么吧! 其实每年的Result Season都是研究美股最有趣的时段,从一些大公司的业绩预告和展望中,我们往往能看到一些行业发展的趋势。今天和大家分享的是蓝色巨人IBM和微软的最新季报解读。 IBM NYSE#IBM#: 我们先看IBM。作为股神巴菲特的第三大重仓股(排在富国银行和可口可乐之后),IBM可是让巴菲特亏了大钱。这位一生坚持不投科技股的股神,第一次对于科技股的投资目前就以亏损开始。 IBM收入同比下滑12%至241亿美元,,低于市场预期的247亿。Non-GAAP的每股收益5.81美元,同比下滑6%,但比市场预期的5.41高了不少。但EPS主要是受益公司的股票回购。过去一个季度,公司的股票数量从10.8亿下滑到了9.95亿。2014年全年收入928亿,下滑6%,每股收益16.53美元,同比下滑1%。一些亮点包括,公司的云端收入同比上升60%至70亿美元,移动端收入翻了三倍,安全业务收入也同比增长了19%。更好的业务结构也带动毛利率小幅上升0.6%。 不好的一面也很明显,海外业务收入全线下滑。受到中国的去IOE,IBM在亚太收入大跌17%,欧洲市场也下滑8%。由于叠加过去一个季度的强势美元,让IBM雪上加霜。分行业来看,全球科技服务(GlobalTechnology Services)四季度收入92亿,同比下滑8%。全球商业服务四季度收入43亿,同比下滑8%。软件收入76亿,同比下滑7%。此外,早在周一早上,有消息称IBM将执行代号“ProjectChrome”的大规模裁员计划,预计裁员11万人之多! 显然,蓝色巨人已经过了增长期,公司只能通过转型和裁员来维持利润率。而从公司的股票回购计划看,IBM逐渐从成长股变成了一个高分红的价值公司。然而,巴菲特可能没有意识到,当一个科技股被贴上“价值观”的标签后,其股票反而容易被投资者抛弃。在错过了移动互联网的浪潮之后,IBM似乎将逐渐离开人们的视线。 微软 NASDAQ#MSFT#: 1999年互联网泡沫中的明星公司,一个改变了我们所有人生活的公司。虽然今天,同样因为移动互联网和公司内部基因的问题而逐步淡出我们的眼球,但依然影响着几乎所有人的生活。知道今天,我还忘不了去北京鼓楼游戏机一条街买xbox360的激动。 微软最新季度的收入达到265亿美元,经营利润78亿,每股收益0.71美元,和市场预期的一致(但盘后还是跌了4%)。在公司的电话会中,CEO Satya Nadella说得最多的一个词就是转型(transform)。 设备类收入同比增长8%至129亿美元。其中Surface收入11亿,同比增长24%。主要受益于Surface Pro 3的推出。Xbox游戏机一共卖了660万台,受益于圣诞节的假期销售。电话设备收入23亿,其中Lumia手机销量1050万台。搜索引擎收入同比增长23%,Bing已经在美国有19.7%的市场份额,同比增长了1.5%。…

Continue Reading →