新的一年了，祝各位身体健康，学业有成，工作顺利。

也感谢各位2011年给予丕子的帮助，丕子还有很多很多不足，希望多指点帮助。

谢谢。

龙年大吉。

您可能也喜欢：

[人生悲剧] 发现自己的名字让Google屏蔽了

换了个域名，通知一下

此博客目的

[读后感] 臧哥《像蛇一样成长》第一部

声明：关于此博客的博文

无觅

相关文章

• [人生悲剧] 发现自己的名字让Google屏蔽了 (30)
• [读后感] 臧哥《像蛇一样成长》第一部 (9)

瑞典皇家科学院宣布了2012年度克拉福德奖（Crafoord Prize）获奖者，该奖项轮流授予数学、天文学、地球科学和生物科学学科领域的杰出贡献者，今年是数学和天文学。

今年的数学学科获奖者是：普林斯顿高等研究院的比利时数学家Jean Bourgain，加州洛杉矶分校（UCLA）的澳大利亚华裔数学家陶哲轩，两人都获得过菲尔茨奖（分别是在1994年和2006年）。陶哲轩最为知名的 成就是在2004年与本·格林发表的Green-Tao Theorem，证明存在任意长的素数等差数列；以及压缩感知方面的创新研究。Bourgain的成就是证明了多个非线性偏微分方程的适定性结论，如量子 力学薛定谔方程式和波动柯氏方程。天文学科获奖者为德国马克斯·普朗克外星生物物理研究院的Reinhard Genze和UCLA的Andrea Ghez，两人在超大质量黑洞研究上可谓一时瑜亮。

您可能也喜欢：
陶哲轩：压缩感知与单像素照相机	KDD Cup 2012：社交计算和计算广告学	2012逃生揭秘	一年一年又一年	丕子给您拜年
无觅

最热文章

• 留言板 (424)
• 博客头上的格子开始征集格友了！ (242)
• 关于我 (89)
• 向做研究的人员推荐一个网站 (45)
• 你有没有感觉到国内的各大微博正在悄悄“变化”？ (40)
• 无锡的空气和排骨 (39)
• wordpress3.0头像无法显示的解决办法 (39)
• 发现一个Email保护的小工具 (38)
• 这么多有意思的404页面，真有才 (37)
• 2010世界杯小组出线队伍，一些国外网站的预测结果 (37)

大赛腾讯赞助，weibo当然也是腾讯微博。

Task 1. Social Network Mining on Microblogs (Weibo)

Task 2. User Click Modeling based on Search Engine Log Data

57 days and 05hours left before the competition begins.

*Note that this is only an initial announcement. Stay tuned for more detailed announcements.

您可能也喜欢：
KDD Cup 2011的最新结果	别忘了好好读读KDD CUP 2011的好作品	National Taiwan University 在KDD CUP 2011最后的冲刺	计算广告学(Computational Advertising)CA	KDD Cup 2011：音乐推荐
无觅

相关文章

• 别忘了好好读读KDD CUP 2011的好作品 (2)
• National Taiwan University 在KDD CUP 2011最后的冲刺 (2)
• KDD Cup 2011的最新结果 (1)
• 计算广告学(Computational Advertising)CA (2)

多次面试等，

也总结出自己的很多弱点。

考虑不能太多也不能太少

但是，总得让自己满意

自己不满意，但是又得不到满意的东西的时候？

需要让自己满意现状，

还是再努力跳一下，

好好弥补塑造一下

自己笨，

就得多花点儿时间。

---

父母啊，

年纪也越来越大了，

真是辛苦。

这辈子，

就算拼不出大的成绩，

让父母过的舒服点儿，

心里轻松点儿，

能有时间多陪陪父母，

妈妈打针时候能在身边守着，

。。。。

您可能也喜欢：
北京晚报：中科院在VOC2010的表现报道	深入问题本身(By Dahua Lin@MIT)	mli-漫谈在线学习：阴阳论	回忆过去，展望未来	今明两天做苦力，阅卷工作
无觅

相关文章

• 回忆过去，展望未来 (17)
• 灵感与数学 (6)
• 把女友升级为老婆时发生的BUG(z) (31)
• 今明两天做苦力，阅卷工作 (12)

2009年的 TED 视频第六感技术的惊异潜力让很多人记忆犹新，之后 MIT 媒体实验室的博士生 Pranav Mistry 决定会将第 6 感作为开源项目发布，上个月 Pranav 上传了0.1版本的源代码（下载地址），sixthsense 项目使用了 GPLv3自由软件许可证，软件使用 C++ 和 C# 作为开发语言，硬件包括摄像头，投影器等。（solidot）

记得以前还写日志记录过《感叹-一年前,美国MIT学生普拉纳夫Parnav Mistry的发明》。

您可能也喜欢：
MIT的印度学生Pranav Mistry又一小制作–隐形的鼠标	感叹-一年前,美国MIT学生普拉纳夫Parnav Mistry的发明	Kinect试衣以及体感购物	开源微博平台和SNS社交网络平台	开源微博程序 StatusNet 0.9.0 发布
无觅

相关文章

• MIT的印度学生Pranav Mistry又一小制作–隐形的鼠标 (10)
• 感叹-一年前,美国MIT学生普拉纳夫Parnav Mistry的发明 (15)

看看他的publication list，一方面还是坚守在Boosting算法研究的第一线，新文章《The rate of convergence of AdaBoost. 》讨论Adaboost的收敛性的问题。

另一方面，也追随了最前沿的两个领域Compressive sensing meets game theory，一方面是Compressive sensing的理论以及应用，说到CS，不得不说数学天才Terence Tao，他对压缩感知的贡献是大大的。而且近几年Sparse Coding在机器学习以及计算机视觉的应用，能够十分有效的解决一些问题，例如图像去噪，特征稀疏表示，字典学习，人脸识别对齐等等。但是SC的提升余地还是很大的，例如对于计算效率的提升，收敛速度的提升，以及稀疏表示能够表示更多信息的问题。

另一方面 game theory，博弈论，也是这两年与机器学习领域联系十分密切的其他理论体系，像是ICML 2011的Best Paper就是博弈论的问题，看的我云里雾里的。这种东西还真是数学很牛的大师才能够深入浅出的来阐述很多问题。

另外，你也会发现很多机器学习的文章页讨论博弈论中的问题，例如Bandits Problem等。

一个东西，理解的好不好，在于你能否用手边的东西来解释清楚，虽然很高深，但是你讲出来傻瓜也能听明白，想想这应该真是修炼到家了，所以好的老师基本上讲的也是这个滋味儿，像是Andrew Ng教授的机器学习公开课，大家都评价很不错。

您可能也喜欢：
关于AdaBoost的讲义以及几个源码	记录boost的一个bug	Adaboost原理、算法以及应用	陶哲轩：压缩感知与单像素照相机	ICML2007上的两篇文章：Boosting for transfer learning和Self-taught learning
无觅

相关文章

• ICML2007上的两篇文章：Boosting for transfer learning和Self-taught learning (7)
• 关于AdaBoost的讲义以及几个源码 (6)
• Adaboost原理、算法以及应用 (0)

今天实验室年终聚餐，有个研0的师妹喝酒很给力，喝怕了一群师哥。

------------

总结下2011年吧，本来是准备申请PhD的，从3月到8月算是一直在准备GT的考试吧，但是对GT没啥兴趣，准备的不好，考得不好。PhD没戏了。很多人问我为啥读PhD，因为我感觉还有好多好多有意思的东西没有研究透没有学会。

好不容易找着了个工作，这个过程中也发现了自己的很严重的不足，发现缺陷和不足其实不可怕，本来人就是学习思考积累的，那就再去学习思考积累呗，谁生下来还啥都会，天才有几个。

签了工作，不知道有没有激情。

听说早去实习有好处，我想一想，我再早还能早起那些在北京的？？

年后还有驾照要考，假期做做毕业设计，年后就准备毕业了，有时间当然去实习一下有好处，不然要饿死了。

2011，感觉自己很失败，很多不足，但是没事，继续弥补和学习，不断努力。

2012，新的一年，新的征程。

态度决定命运，身体决定心理。

所以把自己的身体素质弄好，不断有点儿干劲儿，激励自己克服惰性，多动动手。

----

祝大家新年快乐！！

您可能也喜欢：
搜狗互联网图片库2.0（SogouP2.0）正式发布	向朋友们再咨询下PhD的情况	搜狗竟然也有了基于内容图像检索应用	搜搜的社会化搜索	[Job] 腾讯研究院实习职位
无觅

相关文章

• 只在此山中，云深不知处 (0)
• 工作中的启示 (3)
• 理想与现实 (19)
• 认清自我，做擅长的事情 (31)
• 向朋友们再咨询下PhD的情况 (32)
• 搜狗竟然也有了基于内容图像检索应用 (3)
• 回忆过去，展望未来 (17)
• 2010始-又一个本命年 (15)
• 2012逃生揭秘 (5)
• 什么都“云”了，连输入法也“云” (4)

1. Top 10 challenging problems in data mining
2. List of blogs
3. Top five articles in data mining
4. Standardization versus normalization
5. Data miners on twitter

您可能也喜欢：
首届全国大学生数据挖掘邀请赛	通过WSDM2011论文录用情况分析目前信息检索趋势	Call for Papers: ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD-2010)	UCI机器学习库和一些相关算法	看看Facebook数据小组关于SNS的论文
无觅

相关文章

• 首届全国大学生数据挖掘邀请赛 (10)
• 通过WSDM2011论文录用情况分析目前信息检索趋势 (9)

我也经常拿我所在的大学的研究生博士跟自己所了解的美国那边的phd比比，说实话感觉总是有点硬性的差距在里面。我所处在大学的研究生教育，就拿安排的课程来说，觉得真是有用的不多，虽然也有一些好课，但是鉴于教学质量的问题，往往又起不到好的效果，最重要的是，这里的学生真是太轻松安逸了，不会有有用的作业，也不会有作业让你熬夜计算或者coding，也不会有作业让你在图书馆过夜，图书馆，哎，也是在按时上下班。

国外大牛的课程设计的也不错，拿美女教授Kristen Grauman举个例子，你可以去看看她得研究生以及本科的课程，看着都羡慕啊，是吧。Andrew Ng的课也不用说了，还有很多很多自身修养不错的老师的课设计的都不错。及时你对这个方向开始不是很懂，那么这一门课下来，读了这么多论文以及写了这么多作业和coding，加上一门课所辐射的一个领域，相信应该会学到很多东西，况且老师教学又那么认真，及时你懒，那么也会逼着你去学到了。

课程设计真是一种艺术，也是一种优化。学到的不仅仅是理论，也是一种理解和实现理论的方法以及过程的体验。

--------------------------------

我经常会有一种感觉，就是感觉在自己实现一些算法的时候总是觉得不顺利或者甚至不想去实现，一方面开源的工具很多，另一方面懒吧。

其实每个初学算法的人都应该去亲自体验一下才好，我觉得这个过程当中最重要的就是建立起书面论文理论到具体coding实现的一个映射，理论-实现，这个映射相信是很多人的瓶颈，要努力克服这个。

就拿梯度下降(Gradient Descent)这个小算法来举个例子吧，算法简单，对吧？但是忽然让你马上实现一下，能够5分钟迅速搞定么？3分钟？？允许用matlab的话，方便点儿是吧。

------------------------------------------------

即使以前看过梯度下降算法，但是真的要去用去实现的时候，还真是得重新再看看。针对具体问题吧，先选择个问题，回归问题。再找点儿数据，索性就把libsvm包里的例子数据heart_scale.mat拿来吧，可以自己去下载。虽然是分类的，但是也可以看做回归呗，有些原理也相似。数据中heart_scale_inst包括270个13维的样本，label全部是+-1，这里看做回归吧。

假设要学习这么一个函数：

$$h(x) = {h_\theta }(x) = {\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2}+\cdots$$

那么损失函数可以定义成：

$$J(\Theta ) = \frac{1}{2}{\left\| { X\Theta - Y} \right\|^2}$$

就是比较常用的square loss，for least squares regression or classification。那么我们的目标很简单，就是求损失的最小值的时候的解：

$${\Theta ^ * } = \mathop {\arg \min}\limits_\Theta J(\Theta )$$

像这种优化问题有很多方法，那咱们先直接求导吧，对于求导过程，好多还是不理解，可以用这种方法：

首先定义损失变量：

$${r_i} = \sum\limits_{j = 1}^n {{X_{ij}}{\theta _j} - {y_i}}$$

那么损失函数就可以表示成：

$$J = \frac{1}{2}\sum\limits_{i = 1}^m {r_i^2}$$

一步一步的求导，先求$\frac{{\partial {r_i}}}{{\partial {\theta _j}}}$的导数：

$$\frac{{\partial J}}{{\partial {\theta _j}}} = \sum\limits_{i = 1}^m {{r_i}} \frac{{\partial {r_i}}}{{\partial {\theta _j}}}\;(j = 1,2, \ldots ,n)$$

再求：

$$\frac{{\partial {r_i}}}{{\partial {\theta _j}}} = {X_{ij}}$$

那么把分步骤合起来就是：

$$\frac{{\partial J}}{{\partial {\theta _j}}} = \sum\limits_{i = 1}^m {\left( {\sum\limits_{k = 1}^n {{X_{ik}}} {\theta _k} - {y_i}} \right)} {X_{ij}}\;(j = 1,2, \ldots ,n)$$

导数为0，那么有：

$$\sum\limits_{i = 1}^m {\left( {\sum\limits_{k = 1}^n {{X_{ik}}} {{\hat \theta }_k} - {y_i}} \right)} {X_{ij}}\; = 0(j = 1,2, \ldots ,n)$$

整理一下：

$$\sum\limits_{i = 1}^m {\sum\limits_{k = 1}^n {{X_{ij}}} } {X_{ik}}{{\hat \theta }_k} = \sum\limits_{i = 1}^m {{X_{ij}}} {y_i}\;(j = 1,2, \ldots ,n)$$

用矩阵符号将上面的细节运算抽象一下：

$$\frac{{\partial J(\Theta )}}{{\partial \Theta }} = {X^T}X\Theta-{X^T}Y = 0$$

让导数为0，那么求得的解为：

$$\Theta={({X^T}X)^{ - 1}}{X^T}Y$$

但是我们知道求矩阵${({X^T}X)}$的逆复杂度有点儿高，$O({n^3})$，如果n很大，那么也受不了。

可以用最小二乘或者梯度下降来求解，这里我们看看梯度下降的实现，梯度下降的思想不难，只要确定好梯度以及梯度的方向就ok，因为是梯度的反方向去下降，所以在对参数更新的时候要注意：

$${\Theta ^i} = {\Theta ^{i - 1}} - \gamma \nabla J(\Theta ) = {\Theta ^{i - 1}} - \gamma \frac{{\partial J(\Theta )}}{{\partial \Theta }}$$

其中$\gamma$就是下降的速度了，这个很敏感的，一般是一个小的数值，可以从0.01开始尝试，越大下降越快，收敛越快。当然下降的速率可以改成自适用的，就是根据梯度的强弱适当调整步伐，这样效果还好一点儿。

上图就是迭代目标函数值的情况，迭代终止的条件有很多种，这里取得：

$$\left\| {{\Theta ^i} - {\Theta ^{i - 1}}} \right\| < \varepsilon$$

代码也很简单，如果用matlab的话，矩阵计算就容易很多：

clc;
clear
% load data
heart_scale = load('heart_scale');
X = heart_scale.heart_scale_inst;
Y = heart_scale.heart_scale_label;

epsilon = 0.0003;
gamma= 0.0001;

w_old=zeros(size(X,2),1);
k=1;
figure(1);
while 1
minJ_w(k) = 1/2 * (norm(X*w_old - Y))^2;
w_new = w_old - gamma*(X'*X*w_old - X'*Y);
fprintf('The %dth iteration, minJ_w = %f, \n',k,minJ_w(k));

if norm(w_new-w_old) < epsilon
W_best = w_new;
break;
end
w_old = w_new;
k=k+1;
end

plot(minJ_w);

运行的结果：
The 1th iteration, minJ_w = 135.000000,
The 2th iteration, minJ_w = 128.785026,
The 3th iteration, minJ_w = 123.210569,
The 4th iteration, minJ_w = 118.202908,
The 5th iteration, minJ_w = 113.697504,
The 6th iteration, minJ_w = 109.637791,
The 7th iteration, minJ_w = 105.974133,
The 8th iteration, minJ_w = 102.662919,
The 9th iteration, minJ_w = 99.665786,
The 10th iteration, minJ_w = 96.948948,
The 11th iteration, minJ_w = 94.482602,
The 12th iteration, minJ_w = 92.240436,
The 13th iteration, minJ_w = 90.199178,
The 14th iteration, minJ_w = 88.338227,
The 15th iteration, minJ_w = 86.639312,
....................

您可能也喜欢：
回归(regression)、梯度下降(gradient descent)	Mli:漫谈在线学习：在线梯度下降	Histograms of Oriented Gradients (HOG)理解和源码	matlab 中序列求极值的方法	Matlab统计工具箱：Statistics Toolbox
无觅

相关文章

• Matlab使用parfor让KNN并行加速起来 (9)
• Matlab 2011a更强大了 (0)
• 推荐一个Genetic Programming Toolbox for MATLAB (3)
• mli7:高效的Matlab：向量化 (3)
• Mli:漫谈在线学习：在线梯度下降 (0)
• The Spider：一个“面向对象”的机器学习Matlab工具箱 (21)
• 多分类问题中混淆矩阵(Confusion Matrix)的Matlab画法 (5)
• 中英：怎样才算掌握一门编程语言 (6)
• Matlab下的多线程初次尝试 (10)
• Matlab矩阵数据的可视化 (5)

近日，国内最大的程序员社区 CSDN 的数据库遭到黑客攻击，600余万用户的信息被泄露。在这个背景下，中国技术领先的互联网服务提供商网易 12 月 22 日在杭州宣布，经过长期研究，网易自主研发的人脸识别系统已经取得核心技术突破。据悉，在各国的军事领域和安全防卫领域，人脸识别系统已经得到应用，但在 互联网安全方面还未有使用先例。

网易相关负责人透露，网易的人脸识别系统要求用户在终端拥有摄像头，通过摄像头捕捉人脸信息进行比对，这是一项用户自主选择开通的安全屏障。网 易的人脸识别系统突破了一系列技术难题，识别率接近 100% 几乎不会误判，也不会被照片欺骗。这套系统能够准确识别，由于年龄增长、妆饰、受伤等原因导致的容貌改变，也能准确识别在不同环境和光线下的容貌差异。

据悉，人脸识别系统 2012 年上半年将率先应用在网易邮箱等产品上，提高这些产品的安全等级。在实际使用中，一个网易邮箱用户可以选择在异地登录时要求人脸认证，或者短时间多次输错 密码被锁定后进行人脸认证解锁。网易表示，这一技术将逐步应用到网易通行证旗下的各款产品。来自: 搜狐IT

您可能也喜欢：
汉王推出人脸识别考勤系统	人脸数据集	今天发现了一个人脸搜索引擎-picollator	台湾中华大学的人脸识别自动点名系统	一个人脸检测系统源码
无觅

相关文章

• 实时的自动变脸技术 (6)
• 台湾中华大学的人脸识别自动点名系统 (14)
• 汉王推出人脸识别考勤系统 (7)
• 中文微博的春天貌似已经来临 (6)
• 2010关于Web预测与发展 (8)
• 今天发现了一个人脸搜索引擎-picollator (2)
• 人脸数据集 (0)