丕子 http://www.shamoxia.com 花开堪折直须折，莫待无花空折枝。 Thu, 02 Sep 2010 16:20:51 +0000 en hourly 1 http://wordpress.org/?v=3.0.1 2亿美元的奖金啊，通用电气等你来拿 http://www.shamoxia.com/html/y2010/2123.html http://www.shamoxia.com/html/y2010/2123.html#comments Thu, 02 Sep 2010 16:20:51 +0000 丕子 http://www.shamoxia.com/?p=2123 今天偶然间看到了GE的2亿美元的奖金，就具体查看了下是什么内容，原来是GE（通用电气）设立了一项2亿美元的基金，用于支持智能电网技术的开发。

通用电气首席执行官弗里伊梅尔特（Jeffrey Immelt）是在旧金山的宣布这一决定的。基金是与风险投资公司Kleiner Perkins Caufield & Byers，绿宝科技风险投资公司基础资本以及洛克波特资本公司一起设立的。基金名为GE绿色创想挑战：电网技术。基金将在9月30日前接受创意和作品报 名，并在11月8日公布甄选结果。

思考14个月后，GE决定求助于全球智慧。

“要改变传统制造、传输和使用电力的方式，数字能源解决方案是一个巨大的市场，但我们无法独善其事。”GE董事长兼CEO杰夫·伊梅尔特说。

http://images.brightidea.com/uploads/NA5/OD1594/4E4519CD.jpg

伊梅尔特所说的巨大市场是全球新一轮能源竞争的重点。2009年4月，奥巴马政府公布了40亿美元智能电网技术投资计划；一个月后，中国国家电网公司也公布了智能电网三步走的规划，2009至2010年为规划试点阶段，2011至2015年为全面建设阶段，2016至2020年为引领提升阶段，期间的总投入将超过4万亿元。

为在如此巨大的市场中抢得先机，GE决定联合风险投资拿出2亿美元，从大公司、创业者、学生中寻找尽可能多的创新力量，以期尽快创造一个更清洁、更有效和经济可行的电网，进而实现大规模应用。

从这一现状看，GE还希望通过全球征集创意，成为智能电网标准的制定者，这也是能为企业带来最大回报的举动。

同学们当中有谁是搞这个的呢？可以尝试一下呢，要勇于去尝试才好。

最热文章

]]> http://www.shamoxia.com/html/y2010/2123.html/feed 1 视频：《吉他英雄》黄氏兄弟的创业故事 http://www.shamoxia.com/html/y2010/2120.html http://www.shamoxia.com/html/y2010/2120.html#comments Thu, 02 Sep 2010 08:03:04 +0000 丕子 http://www.shamoxia.com/?p=2120 今天偶然看见了李开复在新浪的一个推，是说他创新工场又请了《吉他兄弟》的创始人做了一个简单的报告，我也去看了下这个创业故事的视频，感觉就是那种艰苦创业的感觉，不过或多或少会有所收获。所以也分享一下。东西还是来自创新工场。

如果说有哪位华人最大程度的改变了游戏产业，那还得算《吉他英雄》的两名创始人，黄忠彦和黄忠凯。一个数字足以说明一切：家用游戏机历史上，还没有哪款或哪个系列的游戏能够以一己之力获得十亿美元规模的收入，《吉他英雄》做到了。
不久前，黄忠彦和黄忠凯去创新工场，做了一次小范围的演讲，分享如下：
【创新工场Mentoring Session】吉他英雄创始人创业心得分享一
《吉他英雄》系列是一款为吉他爱好者专门设计的音乐游戏。通过模拟的音乐演奏让玩家亲身体验成为摇滚吉他明星的快感和喜悦，是目前历史上最受欢迎的五大视频游戏之一
【创新工场Mentoring Session】吉他英雄创始人创业心得分享二
《吉他英雄》系列是一款为吉他爱好者专门设计的音乐游戏。通过模拟的音乐演奏让玩家亲身体验成为摇滚吉他明星的快感和喜悦，是目前历史上最受欢迎的五大视频游戏之一
【创新工场Mentoring Session】吉他英雄创始人创业心得分享三
《吉他英雄》系列是一款为吉他爱好者专门设计的音乐游戏。通过模拟的音乐演奏让玩家亲身体验成为摇滚吉他明星的快感和喜悦，是目前历史上最受欢迎的五大视频游戏之一
基本就是创业的例程，一些细节，一些精神，一些团队的意识。

相关文章

]]> http://www.shamoxia.com/html/y2010/2120.html/feed 7 九月的第一天 http://www.shamoxia.com/html/y2010/2116.html http://www.shamoxia.com/html/y2010/2116.html#comments Wed, 01 Sep 2010 11:06:53 +0000 丕子 http://www.shamoxia.com/?p=2116 今天是九月1号了，一个新的月份已经开始。又到了这个学长勾引学妹、学妹勾搭学长、学姐垂涎学弟、学弟攀附学姐、学姐嫉妒学妹、学妹憎恨学姐、学长抛弃学姐、学姐报复学长、学长欺瞒学弟、学弟巴结学长、学弟追求学妹、学妹拒绝学弟的季节了。

今天一件高兴的事情和好几件郁闷的事情，高兴的事情是进入了Google大学生Android博客大赛的决赛阶段，从700篇文章中也是脱颖而出，杀入了前100，可以拿到一个Android双肩背包了，现在进入了网络投票阶段（文章最后是入口），一等奖是高端智能手机，很眼馋啊，希望做独立博客的兄弟们能够帮忙一下，因为发现好多只是些商业博客很简单的文章，所以一定帮忙哈。

郁闷的事情，因为是投票，所以里面也有文章的链接，但是本博客由于带宽超标，每个月10G的流量超了，所以博客昨天下午开始到今天下午一直没法访问，到了吃完晚饭回来才好的，很是郁闷，自己博客的访问量不是很大，但是还是超标，而且自己做了防盗链的处理了，或许做的不彻底，又从网上搜了一些更详细的防盗链方法，海天无影的这篇文章算是讲的比较好的了，所以拿过来用上了，具体如下：.htaccess设置

RewriteEngine On
#Anti-Leech For Image
RewriteCond %{REQUEST_URI} !^/outlink
RewriteCond %{REQUEST_FILENAME} \.(gif|jpg|jpeg|png)$ [NC]
RewriteCond %{HTTP_REFERER} !^$ [NC]
RewriteCond %{HTTP_REFERER} !www\.shamoxia\.com [NC]
RewriteCond %{HTTP_REFERER} !google\.com [NC]
RewriteCond %{HTTP_REFERER} !baidu\.com [NC]
RewriteCond %{HTTP_REFERER} !feedsky\.com [NC]
RewriteCond %{HTTP_REFERER} !yahoo\.com [NC]
RewriteCond %{HTTP_REFERER} !msn\.com [NC]
RewriteCond %{HTTP_REFERER} !feedburner\.com [NC]
RewriteRule (.*)  http://www.shamoxia.com/images/logo.gif [L,NC,R]

#Anti-Leech For File
RewriteCond %{REQUEST_URI} !^/outlink
RewriteCond %{REQUEST_FILENAME} \.(rar|swf|flv|zip|exe|7z)$ [NC]
#Anti-Leech For Right Save As
RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteCond %{HTTP_REFERER} !shamoxia\.com [NC]
RewriteRule (.*)  http://www.shamoxia.com/images/logo.gif [L,NC,R]

九月份的主要计划还是CVPR2011论文的稿子，进入实验阶段，由于是20101111交稿，所以时间还是很紧张的，写完这个，准备一下一篇被推荐的SCI期刊论文，12.1交稿，然后是SIGIR2011的文章，2011.1.17交稿子的摘要，时间跨度还可以吧，整个半年就这样过去了，没课的感觉挺好。

=========

帮个忙在你们的群里广播下吧：
Google办的一个活动，来帮忙给   山东大学  的这位哥们投个票：

http://www.google.com/intl/zh-CN/daxue/blog2010/#tab2

相关文章

]]> http://www.shamoxia.com/html/y2010/2116.html/feed 21 SVM中核函数种类与选择 http://www.shamoxia.com/html/y2010/2113.html http://www.shamoxia.com/html/y2010/2113.html#comments Tue, 31 Aug 2010 03:02:26 +0000 丕子 http://www.shamoxia.com/?p=2113 支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。

构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是确定核函数类型后相关参数的选择．因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重大难题，也成为科研工作者所关注的焦点，即便如此，却依然没有得到具体的理论或方法来指导核函数的选取．

1、经常使用的核函数

核函数的定义并不困难，根据泛函的有关理论，只要一种函数K({x_i},{x_j})满足Mercer条件，它就对应某一变换空间的内积．对于判断哪些函数是核函数到目前为止也取得了重要的突破，得到Mercer定理和以下常用的核函数类型：

(1)线性核函数

K(x,{x_i}) = x \cdot {x_i}

(2)多项式核

K(x,{x_i}) = {((x \cdot {x_i}) + 1)^d}

(3)径向基核（RBF）

K(x,{x_i}) = \exp ( - \frac{{{{\left\| {x - {x_i}} \right\|}^2}}}{{{\sigma ^2}}})

Gauss径向基函数则是局部性强的核函数，其外推能力随着参数\sigma 的增大而减弱。多项式形式的核函数具有良好的全局性质。局部性较差。

(4)傅里叶核

K(x,{x_i}) = \frac{{1 - {q^2}}}{{2(1 - 2q\cos (x - {x_i}) + {q^2})}}

(5)样条核

K(x,{x_i}) = {B_{2n + 1}}(x - {x_i})

(6)Sigmoid核函数

K(x,{x_i}) = \tanh (\kappa (x,{x_i}) - \delta )

采用Sigmoid函数作为核函数时，支持向量机实现的就是一种多层感知器神经网络，应用SVM方法，隐含层节点数目(它确定神经网络的结构)、隐含层节点对输入节点的权值都是在设计(训练)的过程中自动确定的。而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部最小值，也保证了它对于未知样本的良好泛化能力而不会出现过学习现象。

2、核函数的选择

在选取核函数解决实际问题时，通常采用的方法有：一是利用专家的先验知识预先选定核函数；二是采用Cross-Validation方法，即在进行核函数选取时，分别试用不同的核函数，归纳误差最小的核函数就是最好的核函数．如针对傅立叶核、RBF核，结合信号处理问题中的函数回归问题，通过仿真实验，对比分析了在相同数据条件下，采用傅立叶核的SVM要比采用RBF核
的SVM误差小很多．三是采用由Smits等人提出的混合核函数方法，该方法较之前两者是目前选取核函数的主流方法，也是关于如何构造核函数的又一开创性的工作．将不同的核函数结合起来后会有更好的特性，这是混合核函数方法的基本思想．

参考文献：

相关文章

]]> http://www.shamoxia.com/html/y2010/2113.html/feed 5 Expectation Maximization-EM(期望最大化)-算法以及源码 http://www.shamoxia.com/html/y2010/2109.html http://www.shamoxia.com/html/y2010/2109.html#comments Mon, 30 Aug 2010 07:56:30 +0000 丕子 http://www.shamoxia.com/?p=2109 在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering） 领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大 化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。

最大期望值算法由 Arthur Dempster,Nan Laird和Donald Rubin在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者”在他们特定的研究领域中多次提出过”。

我们用 \textbf{y} 表示能够观察到的不完整的变量值，用 \textbf{x} 表示无法观察到的变量值，这样 \textbf{x} 和 \textbf{y} 一起组成了完整的数据。\textbf{x} 可能是实际测量丢失的数据，也可能是能够简化问题的隐藏变量，如果它的值能够知道的话。例如，在混合模型（Mixture Model）中，如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利（参见下面的例子）。

估计无法观测的数据

让 p\, 代表矢量 θ: p( \mathbf y, \mathbf x | \theta) 定义的参数的全部数据的概率分布（连续情况下）或者概率聚类函数（离散情况下），那么从这个函数就可以得到全部数据的最大似然值，另外，在给定的观察到的数据条件下未知数据的条件分布可以表示为：

p(\mathbf x |\mathbf y, \theta) = \frac{p(\mathbf y, \mathbf x | \theta)}{p(\mathbf y | \theta)} = \frac{p(\mathbf y|\mathbf x, \theta) p(\mathbf x |\theta) }{\int p(\mathbf y|\mathbf x, \theta) p(\mathbf x |\theta) d\mathbf x}

EM算法有这么两个步骤E和M:

Expectation step: Choose q to maximize F:
q^{(t)} = \underset{q} \operatorname{\arg\,max} \ F(q,\theta^{(t)})
Maximization step: Choose θ to maximize F:
\theta^{(t+1)} = \underset{\theta} \operatorname{\arg\,max} \ F(q^{(t)},\theta)
举个例子吧：高斯混合

假设 x = (x1,x2,…,xn) 是一个独立的观测样本，来自两个多元d维正态分布的混合, 让z=(z1,z2,…,zn)是潜在变量，确定其中的组成部分，是观测的来源.

即：

X_i |(Z_i = 1) \sim \mathcal{N}_d(\boldsymbol{\mu}_1,\Sigma_1) and X_i |(Z_i = 2) \sim \mathcal{N}_d(\boldsymbol{\mu}_2,\Sigma_2)

where

\operatorname{P} (Z_i = 1 ) = \tau_1 \, and \operatorname{P} (Z_i=2) = \tau_2 = 1-\tau_1

目标呢就是估计下面这些参数了，包括混合的参数以及高斯的均值很方差:

\theta = \big( \boldsymbol{\tau},\boldsymbol{\mu}_1,\boldsymbol{\mu}_2,\Sigma_1,\Sigma_2 \big)

似然函数:

L(\theta;\mathbf{x},\mathbf{z}) = \prod_{i=1}^n \sum_{j=1}^2 \mathbb{I}(z_i=j) \ \tau_j \ f(\mathbf{x}_i;\boldsymbol{\mu}_j,\Sigma_j)

where \mathbb{I} 是一个指示函数 ，f 是 一个多元正态分布的概率密度函数. 可以写成指数形式:

L(\theta;\mathbf{x},\mathbf{z}) = \exp \left\{ \sum_{i=1}^n \sum_{j=1}^2 \mathbb{I}(z_i=j) \big[ \log \tau_j -\tfrac{1}{2} \log |\Sigma_j| -\tfrac{1}{2}(\mathbf{x}_i-\boldsymbol{\mu}_j)^\top\Sigma_j^{-1} (\mathbf{x}_i-\boldsymbol{\mu}_j) -\tfrac{d}{2} \log(2\pi) \big] \right\}
下面就进入两个大步骤了：
E-step

给定目前的参数估计 θ(t),  Zi 的条件概率分布是由贝叶斯理论得出，高斯之间用参数 τ加权:

T_{j,i}^{(t)} := \operatorname{P}(Z_i=j | X_i=\mathbf{x}_i ;\theta^{(t)}) = \frac{\tau_j^{(t)} \ f(\mathbf{x}_i;\boldsymbol{\mu}_j^{(t)},\Sigma_j^{(t)})}{\tau_1^{(t)} \ f(\mathbf{x}_i;\boldsymbol{\mu}_1^{(t)},\Sigma_1^{(t)}) + \tau_2^{(t)} \ f(\mathbf{x}_i;\boldsymbol{\mu}_2^{(t)},\Sigma_2^{(t)})} .

因此，E步骤的结果:

\begin{align}Q(\theta|\theta^{(t)}) &= \operatorname{E} [\log L(\theta;\mathbf{x},\mathbf{Z}) ] \\ &= \sum_{i=1}^n \sum_{j=1}^2 T_{j,i}^{(t)} \big[ \log \tau_j -\tfrac{1}{2} \log |\Sigma_j| -\tfrac{1}{2}(\mathbf{x}_i-\boldsymbol{\mu}_j)^\top\Sigma_j^{-1} (\mathbf{x}_i-\boldsymbol{\mu}_j) -\tfrac{d}{2} \log(2\pi) \big] \end{align}
M步骤

Q(θ|θ(t))的二次型表示可以使得 最大化θ相对简单.  τ, (μ1,Σ1) and (μ2,Σ2) 可以单独的进行最大化.

首先考虑 τ, 有条件τ1 + τ2=1:

\begin{align}\boldsymbol{\tau}^{(t+1)} &= \underset{\boldsymbol{\tau}} \operatorname{arg\,max}\ Q(\theta | \theta^{(t)} ) \\ &= \underset{\boldsymbol{\tau}} \operatorname{arg\,max} \ \left\{ \left[ \sum_{i=1}^n T_{1,i}^{(t)} \right] \log \tau_1 + \left[ \sum_{i=1}^n T_{2,i}^{(t)} \right] \log \tau_2 \right\} \end{align}

和MLE的形式是类似的，二项分布 , 因此:

\tau^{(t+1)}_j = \frac{\sum_{i=1}^n T_{j,i}^{(t)}}{\sum_{i=1}^n (T_{1,i}^{(t)} + T_{2,i}^{(t)} ) } = \frac{1}{n} \sum_{i=1}^n T_{j,i}^{(t)}

下一步估计 (μ1,Σ1):

\begin{align}(\boldsymbol{\mu}_1^{(t+1)},\Sigma_1^{(t+1)}) &= \underset{\boldsymbol{\mu}_1,\Sigma_1} \operatorname{arg\,max}\ Q(\theta | \theta^{(t)} ) \\ &= \underset{\boldsymbol{\mu}_1,\Sigma_1} \operatorname{arg\,max}\ \sum_{i=1}^n T_{1,i}^{(t)} \left\{ -\tfrac{1}{2} \log |\Sigma_1| -\tfrac{1}{2}(\mathbf{x}_i-\boldsymbol{\mu}_1)^\top\Sigma_1^{-1} (\mathbf{x}_i-\boldsymbol{\mu}_1) \right\} \end{align}

和加权的 MLE就正态分布来说类似

\boldsymbol{\mu}_1^{(t+1)} = \frac{\sum_{i=1}^n T_{1,i}^{(t)} \mathbf{x}_i}{\sum_{i=1}^n T_{1,i}^{(t)}} and \Sigma_1^{(t+1)} = \frac{\sum_{i=1}^n T_{1,i}^{(t)} (\mathbf{x}_i - \boldsymbol{\mu}_1^{(t+1)}) (\mathbf{x}_i - \boldsymbol{\mu}_1^{(t+1)})^\top }{\sum_{i=1}^n T_{1,i}^{(t)}}

对称的:

\boldsymbol{\mu}_2^{(t+1)} = \frac{\sum_{i=1}^n T_{2,i}^{(t)} \mathbf{x}_i}{\sum_{i=1}^n T_{2,i}^{(t)}} and \Sigma_2^{(t+1)} = \frac{\sum_{i=1}^n T_{2,i}^{(t)} (\mathbf{x}_i - \boldsymbol{\mu}_2^{(t+1)}) (\mathbf{x}_i - \boldsymbol{\mu}_2^{(t+1)})^\top }{\sum_{i=1}^n T_{2,i}^{(t)}} .

这个例子来自Answers.com的Expectation-maximization algorithm，由于还没有深入体验，心里还说不出一些更通俗易懂的东西来，等研究了并且应用了可能就有所理解和消化。另外，liuxqsmile也做了一些理解和翻译。

============

在网上的源码不多，有一个很好的EM_GM.m，是滑铁卢大学的Patrick P. C. Tsui写的，拿来分享一下：

运行的时候可以如下进行初始化：


X = zeros(600,2);
X(1:200,:) = normrnd(0,1,200,2);
X(201:400,:) = normrnd(0,2,200,2);
X(401:600,:) = normrnd(0,3,200,2);
[W,M,V,L] = EM_GM(X,3,[],[],1,[])

下面是程序源码：


function [W,M,V,L] = EM_GM(X,k,ltol,maxiter,pflag,Init)
% [W,M,V,L] = EM_GM(X,k,ltol,maxiter,pflag,Init)
%
% EM algorithm for k multidimensional Gaussian mixture estimation
%
% Inputs:
%   X(n,d) - input data, n=number of observations, d=dimension of variable
%   k - maximum number of Gaussian components allowed
%   ltol - percentage of the log likelihood difference between 2 iterations ([] for none)
%   maxiter - maximum number of iteration allowed ([] for none)
%   pflag - 1 for plotting GM for 1D or 2D cases only, 0 otherwise ([] for none)
%   Init - structure of initial W, M, V: Init.W, Init.M, Init.V ([] for none)
%
% Ouputs:
%   W(1,k) - estimated weights of GM
%   M(d,k) - estimated mean vectors of GM
%   V(d,d,k) - estimated covariance matrices of GM
%   L - log likelihood of estimates
%
% Written by
%   Patrick P. C. Tsui,
%   PAMI research group
%   Department of Electrical and Computer Engineering
%   University of Waterloo,
%   March, 2006
%

%%%% Validate inputs %%%%
if nargin <= 1,
 disp('EM_GM must have at least 2 inputs: X,k!/n')
 return
elseif nargin == 2,
 ltol = 0.1; maxiter = 1000; pflag = 0; Init = [];
 err_X = Verify_X(X);
 err_k = Verify_k(k);
 if err_X | err_k, return; end
elseif nargin == 3,
 maxiter = 1000; pflag = 0; Init = [];
 err_X = Verify_X(X);
 err_k = Verify_k(k);
 [ltol,err_ltol] = Verify_ltol(ltol);
 if err_X | err_k | err_ltol, return; end
elseif nargin == 4,
 pflag = 0;  Init = [];
 err_X = Verify_X(X);
 err_k = Verify_k(k);
 [ltol,err_ltol] = Verify_ltol(ltol);
 [maxiter,err_maxiter] = Verify_maxiter(maxiter);
 if err_X | err_k | err_ltol | err_maxiter, return; end
elseif nargin == 5,
 Init = [];
 err_X = Verify_X(X);
 err_k = Verify_k(k);
 [ltol,err_ltol] = Verify_ltol(ltol);
 [maxiter,err_maxiter] = Verify_maxiter(maxiter);
 [pflag,err_pflag] = Verify_pflag(pflag);
 if err_X | err_k | err_ltol | err_maxiter | err_pflag, return; end
elseif nargin == 6,
 err_X = Verify_X(X);
 err_k = Verify_k(k);
 [ltol,err_ltol] = Verify_ltol(ltol);
 [maxiter,err_maxiter] = Verify_maxiter(maxiter);
 [pflag,err_pflag] = Verify_pflag(pflag);
 [Init,err_Init]=Verify_Init(Init);
 if err_X | err_k | err_ltol | err_maxiter | err_pflag | err_Init, return; end
else
 disp('EM_GM must have 2 to 6 inputs!');
 return
end

%%%% Initialize W, M, V,L %%%%
t = cputime;
if isempty(Init),
 [W,M,V] = Init_EM(X,k); L = 0;
else
 W = Init.W;
 M = Init.M;
 V = Init.V;
end
Ln = Likelihood(X,k,W,M,V); % Initialize log likelihood
Lo = 2*Ln;

%%%% EM algorithm %%%%
niter = 0;
while (abs(100*(Ln-Lo)/Lo)>ltol) & (niter<=maxiter),
 E = Expectation(X,k,W,M,V); % E-step
 [W,M,V] = Maximization(X,k,E);  % M-step
 Lo = Ln;
 Ln = Likelihood(X,k,W,M,V);
 niter = niter + 1;
end
L = Ln;

%%%% Plot 1D or 2D %%%%
if pflag==1,
 [n,d] = size(X);
 if d>2,
 disp('Can only plot 1 or 2 dimensional applications!/n');
 else
 Plot_GM(X,k,W,M,V);
 end
 elapsed_time = sprintf('CPU time used for EM_GM: %5.2fs',cputime-t);
 disp(elapsed_time);
 disp(sprintf('Number of iterations: %d',niter-1));
end
%%%%%%%%%%%%%%%%%%%%%%
%%%% End of EM_GM %%%%
%%%%%%%%%%%%%%%%%%%%%%

function E = Expectation(X,k,W,M,V)
[n,d] = size(X);
a = (2*pi)^(0.5*d);
S = zeros(1,k);
iV = zeros(d,d,k);
for j=1:k,
 if V(:,:,j)==zeros(d,d), V(:,:,j)=ones(d,d)*eps; end
 S(j) = sqrt(det(V(:,:,j)));
 iV(:,:,j) = inv(V(:,:,j));
end
E = zeros(n,k);
for i=1:n,
 for j=1:k,
 dXM = X(i,:)'-M(:,j);
 pl = exp(-0.5*dXM'*iV(:,:,j)*dXM)/(a*S(j));
 E(i,j) = W(j)*pl;
 end
 E(i,:) = E(i,:)/sum(E(i,:));
end
%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Expectation %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function [W,M,V] = Maximization(X,k,E)
[n,d] = size(X);
W = zeros(1,k); M = zeros(d,k);
V = zeros(d,d,k);
for i=1:k,  % Compute weights
 for j=1:n,
 W(i) = W(i) + E(j,i);
 M(:,i) = M(:,i) + E(j,i)*X(j,:)';
 end
 M(:,i) = M(:,i)/W(i);
end
for i=1:k,
 for j=1:n,
 dXM = X(j,:)'-M(:,i);
 V(:,:,i) = V(:,:,i) + E(j,i)*dXM*dXM';
 end
 V(:,:,i) = V(:,:,i)/W(i);
end
W = W/n;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Maximization %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function L = Likelihood(X,k,W,M,V)
% Compute L based on K. V. Mardia, "Multivariate Analysis", Academic Press, 1979, PP. 96-97
% to enchance computational speed
[n,d] = size(X);
U = mean(X)';
S = cov(X);
L = 0;
for i=1:k,
 iV = inv(V(:,:,i));
 L = L + W(i)*(-0.5*n*log(det(2*pi*V(:,:,i))) ...
 -0.5*(n-1)*(trace(iV*S)+(U-M(:,i))'*iV*(U-M(:,i))));
end
%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Likelihood %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%

function err_X = Verify_X(X)
err_X = 1;
[n,d] = size(X);
if n<d,
 disp('Input data must be n x d!/n');
 return
end
err_X = 0;
%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Verify_X %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%

function err_k = Verify_k(k)
err_k = 1;
if ~isnumeric(k) | ~isreal(k) | k<1,
 disp('k must be a real integer >= 1!/n');
 return
end
err_k = 0;
%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Verify_k %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%

function [ltol,err_ltol] = Verify_ltol(ltol)
err_ltol = 1;
if isempty(ltol),
 ltol = 0.1;
elseif ~isreal(ltol) | ltol<=0,
 disp('ltol must be a positive real number!');
 return
end
err_ltol = 0;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Verify_ltol %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function [maxiter,err_maxiter] = Verify_maxiter(maxiter)
err_maxiter = 1;
if isempty(maxiter),
 maxiter = 1000;
elseif ~isreal(maxiter) | maxiter<=0,
 disp('ltol must be a positive real number!');
 return
end
err_maxiter = 0;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Verify_maxiter %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function [pflag,err_pflag] = Verify_pflag(pflag)
err_pflag = 1;
if isempty(pflag),
 pflag = 0;
elseif pflag~=0 & pflag~=1,
 disp('Plot flag must be either 0 or 1!/n');
 return
end
err_pflag = 0;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Verify_pflag %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function [Init,err_Init] = Verify_Init(Init)
err_Init = 1;
if isempty(Init),
 % Do nothing;
elseif isstruct(Init),
 [Wd,Wk] = size(Init.W);
 [Md,Mk] = size(Init.M);
 [Vd1,Vd2,Vk] = size(Init.V);
 if Wk~=Mk | Wk~=Vk | Mk~=Vk,
 disp('k in Init.W(1,k), Init.M(d,k) and Init.V(d,d,k) must equal!/n')
 return
 end
 if Md~=Vd1 | Md~=Vd2 | Vd1~=Vd2,
 disp('d in Init.W(1,k), Init.M(d,k) and Init.V(d,d,k) must equal!/n')
 return
 end
else
 disp('Init must be a structure: W(1,k), M(d,k), V(d,d,k) or []!');
 return
end
err_Init = 0;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Verify_Init %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function [W,M,V] = Init_EM(X,k)
[n,d] = size(X);
[Ci,C] = kmeans(X,k,'Start','cluster', ...
 'Maxiter',100, ...
 'EmptyAction','drop', ...
 'Display','off'); % Ci(nx1) - cluster indeices; C(k,d) - cluster centroid (i.e. mean)
while sum(isnan(C))>0,
 [Ci,C] = kmeans(X,k,'Start','cluster', ...
 'Maxiter',100, ...
 'EmptyAction','drop', ...
 'Display','off');
end
M = C';
Vp = repmat(struct('count',0,'X',zeros(n,d)),1,k);
for i=1:n, % Separate cluster points
 Vp(Ci(i)).count = Vp(Ci(i)).count + 1;
 Vp(Ci(i)).X(Vp(Ci(i)).count,:) = X(i,:);
end
V = zeros(d,d,k);
for i=1:k,
 W(i) = Vp(i).count/n;
 V(:,:,i) = cov(Vp(i).X(1:Vp(i).count,:));
end
%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Init_EM %%%%
%%%%%%%%%%%%%%%%%%%%%%%%

function Plot_GM(X,k,W,M,V)
[n,d] = size(X);
if d>2,
 disp('Can only plot 1 or 2 dimensional applications!/n');
 return
end
S = zeros(d,k);
R1 = zeros(d,k);
R2 = zeros(d,k);
for i=1:k,  % Determine plot range as 4 x standard deviations
 S(:,i) = sqrt(diag(V(:,:,i)));
 R1(:,i) = M(:,i)-4*S(:,i);
 R2(:,i) = M(:,i)+4*S(:,i);
end
Rmin = min(min(R1));
Rmax = max(max(R2));
R = [Rmin:0.001*(Rmax-Rmin):Rmax];
clf, hold on
if d==1,
 Q = zeros(size(R));
 for i=1:k,
 P = W(i)*normpdf(R,M(:,i),sqrt(V(:,:,i)));
 Q = Q + P;
 plot(R,P,'r-'); grid on,
 end
 plot(R,Q,'k-');
 xlabel('X');
 ylabel('Probability density');
else % d==2
 plot(X(:,1),X(:,2),'r.');
 for i=1:k,
 Plot_Std_Ellipse(M(:,i),V(:,:,i));
 end
 xlabel('1^{st} dimension');
 ylabel('2^{nd} dimension');
 axis([Rmin Rmax Rmin Rmax])
end
title('Gaussian Mixture estimated by EM');
%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Plot_GM %%%%
%%%%%%%%%%%%%%%%%%%%%%%%

function Plot_Std_Ellipse(M,V)
[Ev,D] = eig(V);
d = length(M);
if V(:,:)==zeros(d,d),
 V(:,:) = ones(d,d)*eps;
end
iV = inv(V);
% Find the larger projection
P = [1,0;0,0];  % X-axis projection operator
P1 = P * 2*sqrt(D(1,1)) * Ev(:,1);
P2 = P * 2*sqrt(D(2,2)) * Ev(:,2);
if abs(P1(1)) >= abs(P2(1)),
 Plen = P1(1);
else
 Plen = P2(1);
end
count = 1;
step = 0.001*Plen;
Contour1 = zeros(2001,2);
Contour2 = zeros(2001,2);
for x = -Plen:step:Plen,
 a = iV(2,2);
 b = x * (iV(1,2)+iV(2,1));
 c = (x^2) * iV(1,1) - 1;
 Root1 = (-b + sqrt(b^2 - 4*a*c))/(2*a);
 Root2 = (-b - sqrt(b^2 - 4*a*c))/(2*a);
 if isreal(Root1),
 Contour1(count,:) = [x,Root1] + M';
 Contour2(count,:) = [x,Root2] + M';
 count = count + 1;
 end
end
Contour1 = Contour1(1:count-1,:);
Contour2 = [Contour1(1,:);Contour2(1:count-1,:);Contour1(count-1,:)];
plot(M(1),M(2),'k+');
plot(Contour1(:,1),Contour1(:,2),'k-');
plot(Contour2(:,1),Contour2(:,2),'k-');
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% End of Plot_Std_Ellipse %%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

相关文章

]]> http://www.shamoxia.com/html/y2010/2109.html/feed 8