SAS资源资讯列表
msgbartop
List for SAS fans and programmer
msgbarbottom

06 1月 12 SAS资讯 from 新浪微博 – 2012-01-04

SAS微薄资讯17期
.
除了招聘继续给力，本期SAS资讯中高性能计算讨论和SAS软件中一个问题debug探讨也同样精彩；另外张栋老师的“机器学习在互联网应用 10 大挑战”系列在此汇总了一下，希望对你有帮助。
.
 
本期招聘
  1. @英创人才上海国际部: 500强日化公司，数理统计高级研究员，张江高科技园区，月薪7-9k。要求：统计学、生物统计专业；熟练应用SAS或SPSS；流利的英文听写能力,本科1-2年工作经验或硕士应届毕业生，有临床或日化行业经验优先。简历发送到tongqt@yingchuang.com – 原文地址：http://t.cn/SidGFC [01/04/2012 21:10:54]
  2. 本期SAS招聘：//@张磊IDMer: //@赵炳岳: 北京在招聘SAS或者SPSS的开发工程师，要求：1、本科或硕士学历，统计学、计算机、数学与应用数学等相关专业；2. 熟练SAS编程和使用SAS相关数据挖掘工具，如SAS EM、SAS EG和SAS EMM工具等，并能完成分析报告的编写；3. 熟悉主流数据库 – 原文地址：http://t.cn/SViipp [12/19/2011 21:13:50]
  3. #SAS招聘#美国500强日化公司，数理统计高级研究员，张江高科技园区，月薪7-9k。要求：统计学、生物统计专业；独立制定统计计划，熟练应用SAS或SPSS；流利的英文听写能力，良好的团队合作精神；本科1-2年工作经验，或者应届硕士，有临床试验或日化行业经验优先。有意者简历发送至tongqt@yingchuang.com [12/17/2011 12:39:04]
  4. 帮转 //@郑来轶: #招聘信息#公司：淘宝商城，地点：杭州，岗位：数据库营销类，待遇：有肉有米//@勾践XO: 招聘了招聘了。有志于在电子商务B2C数据库营销领域里一展抱负的兄弟姐妹们，进来看看。http://t.cn/SVcjzo @车品觉 @数据挖掘与数据分析 @小蚊子乐园 @郑来轶 @徐梁君 @徐达S @ZJUER-刘建斌 @沈浩老师 @商业分析-数据挖掘 @数据化管理 @susantl @P夏夏 @自己_木吒 @网店那些事儿 帮我转一转啊。 [12/19/2011 16:48:30]
  5. 回复@零对冲:恩啊， 基本上这类职位都在北上广杭等地，其他地方基本没有。经济商业的发展水平决定的。 //@零对冲:南京类似职位为什么这么少？ //@sxlion:招聘 //@小蚊子乐园: #微招聘#数据分析师，广州同样招聘，有兴趣者简历发至xiaowenzi22@qq.com//@数据挖掘与数据分析: #微招聘#【触发条件】：三年及三年以上互联网数据挖掘经验，懂SQL，掌握一种数据挖掘工具（SPSS、SAS、R等），会玩office系列工具；【催化剂】1、营销及业务分析优先考虑；2、内部火速推荐，流程短，效果佳！【base】：北京 【Email】cwdengkai@360buy.com @小蚊子乐园 @数据化管理 @郑来轶 @森可诚  [12/07/2011 15:56:26]
已完成会议活动
  1. //@中国统计网: #活动公告#地址：桂果路669号，近宜山路 //@中国统计网:12月4日(13-17时)上海数据分析同行交流会”棋局”一切准备就绪,望与会者大家提前查号路线(9号线漕河泾开发区下，1号口出来后，直走到第一个十字路口左转走200米左右),准时出席,欢迎大家来破解棋局! 其它联系组织者@datathinking//@中国统计网: #棋局最新动态#活动嘉宾和主讲内容已经确定,现公布! (其它任何建议和想法请联系@datathinking ) 活动方案和地图地址：http://weibo.com/1650363390/xxA2P8kaq  [12/04/2011 11:21:48]
  2. //@SAS杨旭: SAS目前正进行机器辅助翻译的研究，希望今后能涉足机器翻译领域。 //@CCF中文信息技术专委会:转发微博//@刘群MT-to-Death: 昨天在中文信息学学会30周年会议上我代表机器翻译专委会做了一个机器翻译领域的报告，里面有我和同行们关于机器翻译近年来发展的总结和展望，也加入了我自己很多思考。报告已上载：http://t.cn/SGBsJ8 请各位同行批准指正，非常希望跟大家交流。 [12/06/2011 10:21:57]
  3. //@PKU王栋: 转发微博//@李航博士: NIPS2011结束了。每次参见NIPS的感受都一样，要学习的东西太多了。总结了一些今年的趋势。传统话题Reinforcement Learning，Neural Computing等仍占一席之地；最近热门话题Sparsity and Low Rank，Non-Parametric Bayesian，Deep Learning等仍然很火；全新话题crowdsourcing颇受瞩目。明天回北京。 [12/16/2011 20:43:13]
博文推荐
  1. 另外，对于一个博士来说，如果他毕业了，不对他所研究的领域有绝对发言权，基本上算是失败的了。这篇文章就是偏重于目前研究比较成熟，应用很火的两种机器学习方法：支持向量机SVM和Boosted Trees。因此推荐广大SASor读一读，在以后的工作和科研中会用得到的。//@sxlion: 【转载】统计学习那些事 by eeyan 2011 http://t.cn/ScCcrE 说明：与其说是统计学习那些事，不如说是非统计专业博士毕业的那些事。作为一个原来学机械自动化的，后来搞生物信息学这个坑爹的方向。作者苦逼地读了5年博士，不找点好玩的，简直是没法活下去了。 [12/16/2011 21:38:06]
 
SAS爱好者资讯
 
  1. //@tianwild: //@webgu:转发微博//@SAS中文论坛: #SAS# 9.2开始提供了自定义函数接口proc fcmp，方便大家灵活的封装数据处理逻辑。这里提供了详细说明解释proc fcmp的用法。proc jlaunch又是一片新天地啊，直接上图让大家看看新界面。在SAS 9.22中，我们还可以通过图形界面FCmp Function Editor去维护这些自定义函数。样例代码：http://t.cn/SVkMnM [12/21/2011 14:16:39]
  2. //@零对冲: What is SAS doing with Hadoop? At SAS, have a number of initiatives around Hadoop to enable SAS users to access, load, process, visualize and analyze data stored in Hadoop. – 原文地址：http://t.cn/SILRd6 [12/23/2011 19:52:53]
  3. 转发微博//@PKU王栋: “IT产业已经充斥着大量的商业智能与分析软件，但仍缺乏对大量非结构化数据进行分析的工具。在企业中约有80%的数据为非结构化数据，这意味着在数据库中无法轻易将非结构化数据分类。” -IBM新兴技术副总裁Rod Smith [12/12/2011 13:24:57]
  4. 转发微博//@SAS中文论坛: 很多#SAS#分析员都想详细了解各种算法与他们之间的相互联系。就拿SVD举例，marketing里面的perceptual mapping都是基于SVD的，参见market research methods in SAS，很多数据挖掘算法也是基于SVD的，比如colaborative filtering； SVD也用于NMF的初始值计算….. 详细内容请访问：http://t.cn/Sqs91u [12/10/2011 18:23:09]
  5. 哈哈，这这种方法果然神奇，看来SAS9.3不能买graph模块了。//@SAS中文论坛: 最近研究的一点#SAS#画中国地图的窍门。SAS 9.2下管用。proc sgplot data = maps.china ; scatter x = x y = y /markerattrs=(size=2); xaxis grid label = ‘ ‘; yaxis grid label = ‘ ‘; run; …… 样例程序参见：http://t.cn/htosnt by damaopao  [12/10/2011 17:55:55]
  6. 转发微博//@SAS杨旭: 介绍一个英语词频语料的网站：http://t.cn/Si8Iov，该网站使用COCA，有4亿多词，做文本挖掘的可以关注一下。 [01/04/2012 20:27:10]
 
SAS高性能计算测试讨论
  1. …. [good]//@kuhasu: 我最近详细研习了HP系列的所有Procs信息，然后惊奇的发现，其实很多东西自己很多年前就已经那么做了~两个方面需要注意一下子：1、算法方面的优化，木公开，但是效率提升20倍，精确度下降5%；2、MPP共享数据库方面，以及触发。 [12/15/2011 16:20:58]
  2. //@真正的圈总: 回复@yatmingyatming:基于最经典的IRLS算法，利用PROC REG迭代，涵盖常用的几种GLM的分布，比如binomial，poisson，gamma等。通常LOGISTIC 回归只要迭代张磊IDMer: 1分钟完成10亿条记录的Logistic Regression[续]：昨天发了微博，大家对背后的细节比较感兴趣，所以补充说明：业务问题是针对金融业的贷款违约建立信用评级模型。采用了SAS高性能计算(HPC)技术，包括库内计算、网格计算和内存计算。硬件采用EMC GreenPlum 32节点服务器。数据量为10亿记录，6个自变量。[12/16/2011 10:57:51]
  3. //@真正的圈总: #SAS# 我对第二个测试的结果比较感兴趣。用现有的PROC LOGISTIC，服务器版SAS，2000个变量，1E5观测值，需要用时42分钟，I/O耗时几乎不计。我自己写了一个 %HPGLM 的宏，可以多线程，同样的数据，耗时降低为只有20%左右。堪称穷人的HPLOGITIC，哈哈。 //@yatmingyatming:SAS四月有两个测试，第一个测试与本次类似，测试结果当初是80s以下，两rack，各16台EMC GP的server，每rack各192 Intel cores, 和768 GB RAM，面对是a few variables和1billion的数据。其次第二个测试是24个节点的TD platform，1800 var和50 million的obs，耗时42s。//
  4. //@张磊IDMer: 我也抛砖引玉：在我以往的建模工作里，分析宽表中最多用过2000多个变量，最终留在模型里的大约20个。另外在营销响应预测建模中，宽表变量为600个左右，最后留在决策树模型里的变量为7个。正象@文彤老师 说的，其它的变量都打酱油了；）//@张磊IDMer: 问题2：你在数据挖掘建模时，用过最多的变量数是多少个？建模后，发现真正留在模型里的还有多少？ [12/15/2011 12:09:14]
  5. //@张磊IDMer: 关于抽样大小的确定，我一直没有找到有效的理论依据来支撑，所以大多时候都是基于经验值。以前做过试验，电信业客户流失预测，数百万记录，分别用1%、2%、5%、10%、50%和100%的样本来建模，发现10%以上的样本和100%的样本建模结果基本相同。所以我一般建议抽样10%以上（针对大数据量）。//@张磊IDMer: 1分钟完成10亿条记录的Logistic Regression [再续]：前两天的微博引发各路大侠的关注和评论，其实那条微博只是给大家看一下SAS高性能计算的一个测试数据而已，并非真实的建模。但引发了一些很有意思的问题：变量数和样本数。抛出个问题：你是如何决定该抽取多大的样本来建模比较合适？ [12/15/2011 12:08:26]
  6. 恩啊，这下就解决不少疑问了。//@张磊IDMer: 1分钟完成10亿条记录的Logistic Regression[续]：昨天发了微博，大家对背后的细节比较感兴趣，所以补充说明：业务问题是针对金融业的贷款违约建立信用评级模型。采用了SAS高性能计算(HPC)技术，包括库内计算、网格计算和内存计算。硬件采用EMC GreenPlum 32节点服务器。数据量为10亿记录，6个自变量。 [12/14/2011 14:18:23]
  7. 转发微博//@张磊IDMer: 在10亿条记录上做Logistic Regression，一分钟内完成！查看内部技术新闻邮件，有这么一条：Logistics regression with one billion records in under one minute (functionality is targeted for General Availability in December 2011) 。看了演示视频，不错。 [12/13/2011 18:11:52]
SAS系统bug发现和debug过程
  1. //@SAS_张涛: 是，proc sql和data step处理同名列机制不相同。关键问题就在于重名列。如果log中间有关于这方面的信息，我们就可以大概知道怎么处理。当然，在往前看，就是create view时如果不允许重名列，问题就没有了，呵呵。//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/07/2011 09:41:30]
  2. //@文彤老师: 回复@SAS_张涛:谢谢，不过增加warning只是一方面，data步引用和sql过程引用结果不一致的问题也是应当解决的//@SAS_张涛: 我们已经将data step处理view中重名列没有warning message的问题反馈到开发部门。有进一步消息，会及时更新。谢谢大家！//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/07/2011 09:41:27]
  3. //@SAS_张涛: 我们已经将data step处理view中重名列没有warning message的问题反馈到开发部门。有进一步消息，会及时更新。谢谢大家！@文彤老师//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/07/2011 09:41:22]
  4. //@康涅狄格州xieliang: 回复@文彤老师:这个样子就很难查了。我现在能想到的估计有字长，和拖尾的空白字符在DATA step和SQL里面的处理不是完全一样。 //@文彤老师:回复@康涅狄格州xieliang:问题是log一切正常没报错呀//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/04/2011 09:57:56]
  5. //@张磊IDMer: 解决方法是：将最后的视图语句改为 create view txns_auc as select * from txns left join auctions (rename=(goods_id=g_id)) on txns.goods_id=auctions.g_id;//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/04/2011 09:55:56]
  6. //@张磊IDMer: 使用create table …… 会报出WARNING: 变量 goods_id 已经存在于文件“WORK.TXNS_AUC”中。 并自动删除第二个重复的同名变量。也提醒SASor们在使用PROC SQL做表连接时注意同名变量的问题，如果你要使用*来选择所有变量，保险的做法是create table。//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/04/2011 09:55:51]
  7. //@文彤老师: 回复@张磊IDMer:呵呵多谢 还是你找出原因了 计算机就是计算机 偷一点懒他就搞不懂 重名的事我一直都知道 但没出过问题也就没改过程序 没想到这里会出故障了 重名Warning好像Data步引用的确就不给了 //@张磊IDMer:我尝试了一下，的确会出现你说的问题，就是后续data步中出现“非主键列均//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/04/2011 09:55:36]
  8. 哈哈， 厉害啊，终于debug出来了。 以前程序出错经常怀疑SAS出问题，后来发现都是自己代码的问题。看来写代码还是要标准化，不能老想着偷吃sweet candy。[偷笑]//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/04/2011 09:53:49]
  9. 估计是bug，SAS本身是有bug的（哪怕是最新的9.3），官方会不断发布补丁来更正。试试找找最新的补丁，如果不行，需要给SAS公司打报告，等他们发完补丁，才可以解决。 @康涅狄格州xieliang//@文彤老师: #SAS Bug# 9.2TS2M2版，刚刚发现如果是使用proc sql建立的复杂视图，在数据步里面直接引用可能会导致数据丢失，但在sql过程里面则一切正常，目前具体原因不明。 @张磊IDMer @sxlion [12/02/2011 16:17:00]
SAS 公司官方资讯
  1. 转发微博//@PKU王栋: 【SAS商业分析技术概览网络研讨会】作为SAS商业分析应用系列网络研讨会第一场，本次对商业分析技术进行了全面的介绍，包括商业分析的8个等级、SAS商业分析框架的组成要素及应用案例，并演示了部分软件的功能和界面。本期研讨会由SAS中国公司首席咨询顾问张磊博士主讲。欢迎观看http://t.cn/hDA9MR [12/12/2011 13:24:24]
  2. SAS报告会: 新趋势下的CRM 2.0 正在直播 14:05–15:00 新趋势下的CRM 2.0——SAS? 客户智能概览及案例 SAS中国公司 数据挖掘和客户关系管理首席顾问 盛秋戩 15:00–15:30 互动问答 SAS中国公司 数据挖掘和客户关系管理首席顾问 盛秋戩 地址： http://t.cn/ScZxiM [12/15/2011 14:03:19]
  3. 好。//@SAS软件JMP事业部: 希望直接从数据库中获取数据进行分析，而不是将数据先从数据库中导出来，然后再用软件打开进行分析么？JMP视频教程 “八分钟玩转数据分析：数据库连接(Database connecting)” 可以帮助解决这个问题：http://t.cn/a92FUU [12/15/2011 10:12:22]
  4. 转发微博//@SAS软件JMP事业部: JMP Pro是JMP产品系列中的重要一员，它具有64位版本，能够快速地分析更海量的数据。此外，它拥有更强的可视化预测性数据挖掘功能，包括决策树、神经网络方法等等，是SAS预测性数据挖掘解决方案的重要成员。 [12/20/2011 21:58:02]
  5. //@SAS软件JMP事业部: 回复@Cosinx子小: 如果借助一种算法去分析所有的问题，可能会得到错误的结论，因为这里存在所谓方法适用性的问题。最好是根据数据的实际情况选用合适的算法，比如这里“X之间的相关性强弱”是一个选择算法时需要考虑的方面。//@SAS软件JMP事业部: Boosted trees 和 Bootstrap forest是JMP Pro中“神经网络(Neural Network)”分析的两种算法，Boosted Trees倾向于生成紧凑模型，在模型中可能会看到少数变量的贡献率很显著，而其他变量贡献率很小或是0；Bootstrap forest算法倾向于考虑多个变量而生成较大模型，模型中往往显示多个变量都有贡献率。 [12/20/2011 21:57:11]
  6. 转发微博//@SAS软件JMP事业部: JMP中国区2011年下半年推出了“8分钟学会使用JMP”视频课程系列，每段视频集中讲解JMP中某个功能的使用方法、或者如何在JMP中进行某种特定的数据分析，由JMP中国区资深顾问录制。旨在帮助使用数据分析方法更好地为决策服务，如质量改进、六西格玛、研发、生物统计分析、定价等等。网址见JMP中国区主页 [12/15/2011 12:25:43]
  7. JMP新课程 。//@SAS软件JMP事业部: 分享图片：JMP视频课程，右边的导航栏可以看到视频课程分类。网址：http://t.cn/a92FUU [12/15/2011 12:25:33]
  8. //@SAS软件JMP事业部: 时间序列分析是JMP的重要功能之一，提供比较完善的算法，用来分析时间序列数据的随机性、周期性、趋势性、季节性等都没有问题。您可以亲自用JMP试一试进行您提到的分析//@小蚁雄兵2010: 对@SAS软件JMP事业部 说：请问JMP可以作时间序列的预测么？比如说生命周期法、灰色预测法…… [12/07/2011 18:22:05]
  9. 转发微博//@SAS软件JMP事业部: 数据库软件发展的新趋势之一：智能分析，而这正是SAS/JMP的核心优势。所以，研究计算机技术的朋友不要忘了学点SAS，至少要会JMP噢。 [12/06/2011 13:53:22]
SAS竞争对手
  1. 竞争对手动作频频啊 ，据说modeler（以前的柑橘）也很牛了。//@吃桃的猫: 转发微博//@中国统计网: #行业资讯#12月15日晚间消息，国际商用机器公司(IBM)周四宣布，将收购总部位于马萨诸塞州Burlington的EmptorisInc，后者是一家开发基于云计算的数据分析软件的公司，拥有725名员工。此项交易的财务条款未予透露。IBM表示，此项收购将帮助加强其旨在降低采购成本和风险的产品组合。http://t.cn/SVX7pa [12/19/2011 23:22:54]
  2. //@SAS杨旭: SAS应该关注谷歌了，战役已经打响！ //@杨滔_机器学习:谷歌的大数据BigQuery 服务! // @nicaionline : // @fengyuncrawl : Google已经从一家搜索公司进化成数据挖掘公司了，它的服务器里有几乎全球的数据，它不做数据挖掘，谁还能做呢？未来企业的数据库容量决定了企业的实力！//@TechFrom: 创业者当心!谷歌发布BigQuery海量数据服务可能杀死你的项目! – TechFrom科技源 11.15日，国外很多关于海量数据商业智能分析或者可视化的创业项目，但是谷歌发布的大数据（海量数据）BigQuery 服务，可能会让很多类似的创业公司望而却步，Goo…  http://t.cn/S2LcUc [12/13/2011 19:43:31]
 
图表欣赏
  1. 配色对比鲜明 。 //@沈浩老师: 推荐学习！ // @广东陈进 :因为写了“史上”和“最全面”这两个形容词，有点夸张。但还是可以学习学习滴，只是要说明它的来源是以前RI的品牌资产模式就可以了。//@网站分析探索者: 史上最全面的市场调查分析方法，腾讯网市场数据分析附统计学知识，内部资料，你值得拥有。#数据分析# #市场调查# @王鲁生微博数据分析 @鲨鱼1 @李煜辉Reco @李黎 @数据化管理 http://t.cn/S4Xqtp
    [12/15/2011 21:52:53]
  2. //@刘万祥ExcelPro: 看着就舒服//@新读图时代NPRT: 【每日分享-社会】说说世界上的专利，中国大亮！——Where’s China? 作者给了我们一个让人无奈的答案。大图看这里： http://t.cn/ScatPY  [12/16/2011 17:55:04]
  3. Amazing ！ 月亮图的原型，不多见的。 //@波顿余安: 哦yeah～月全食！月全食～//@果壳网: 【目标周六，月全食观测全攻略】本周六（12月10日），只要天气好，全中国都能看到一场月全食。而且它发生在上半夜，你根本不用熬夜，也能看到这次天象哦！不过，月全食应该怎么看才过瘾呢？为了解答这个问题，单身的@Steed的围脖 老师写了个攻略，来果壳网观星者小组来学学吧：http://t.cn/S4kDRN
     [12/05/2011 22:29:07]
  4. 有意思的手绘图表。//@图表汇: #信息图表#中基于数值统计型数据常用的几种图表样式，Kawai！http://t.cn/ScHAU7  [12/17/2011 13:39:53]
  5. 转发微博//@199IT-互联网数据中心: 分享：腾讯微博和新浪微博用户数比较。—注：其实，数据不重要，重要的是这个曲线有意思。 [12/25/2011 22:39:25]
  6. //@刘万祥ExcelPro: 图表控一定要收藏这个网址，图表宝藏//@经济学人中文网: 《经济学人》近期对广受欢迎的Daily chart(每日图表)栏目进行改版，栏目更名为Graphic detail(图表细节)http://t.cn/S5a731，该栏目除了发布每日图表外，还会发布其他的图表、图形、地图、互动图、信息图等，欢迎读者继续关注。http://t.cn/SqdIgM [12/10/2011 17:22:41]
  7. 好看的图。//@麻省理工科技创业: 走进#安卓市场#的数字世界 http://t.cn/S5zbda #谷歌#安卓市场（Android Market）的应用程序（Apps）的下载量突破100亿，一起来看看这座由100亿块砖构成的巨型数字大厦，内部有哪些五彩缤纷的颜色和风格各异的结构，又是如何从无到有建起来的。
    [12/09/2011 16:12:21]
  8. 有意思的曲线。//@数据化管理: 职场空降兵伤不起啊！把握好的心态最重要！//@数据化管理: #微杂谈C#现在企业的空降兵越来越多，很多外企的职业经理人跳槽到私企等民营企业。成功者寥寥。简单总结了空降兵和老板的心路历程，欢迎对号入座！职场的辛酸全在这一条一条的曲线中了，对于一个空降兵来说，如果能在一个私营企业经过三轮的起伏，那就“没问题”了！看懂了的请转走！ [12/31/2011 10:33:10]
机器学习在互联网应用 10 大挑战 by @张栋_机器学习
  1. @张栋_机器学习: 终于写完了 “机器学习在互联网应用 10 大挑战”，是我在过去几年学习和工作中 总结出来的；也是未来努力的起点 …
  2. 【机器学习在互联网应用 10 大挑战 之十】“Human + Machine” 机器学习应用在一个特定领域，需要特定领域的专家知识：机器学习应用在 “医学”，需要一个经验丰富的医生；应用在 “股票”，需要一个有10年以上经验的操盘手；应用在 “互联网”，需要一个上网时间超过 1万小时的 PM
  3. 【机器学习在互联网应用 10 大挑战 之九】机器学习之美在于对于不同的问题需要不同建模方法。我去给讲座的时候，经常听有人说：“SVM 做过，Naive Bayes 做过 … 但效果不好”；做过很简单，但能否 “做到极致”? 这个世界你能想到别人想不到的事情概率极低，只有一件你花十倍努力做到极致的事情！
  4. 由于 “冷启动” 问题的存在，使得互联网抢占 “先发优势” 非常重要； 同时，后来公司 “追赶和超越” 成熟大公司极其困难 … //【机器学习在互联网应用 10 大挑战 之八】“Cold-Start” (冷启动) 是互联网应用的典型问题：一个好互联网产品，用的人多，得到的数据多；得到的数据越多，模型训练的越好，产品会变得更好用，用的人就会更多 … 进入 “良性循环”。对于一个新产品，在初期，要面临数据不足的 “冷启动” 问题 …
  5. 【机器学习在互联网应用 10 大挑战 之七】互联网 每时每刻 都在产生大量新数据，要求模型随之不停更新，所以 “online learning” 是机器学习的一个重要研究方向。人也是一样: Life is an online learning process … “online learning” 也是人最重要的能力之一
  6. 【机器学习在互联网应用 10 大挑战 之六】“速度” 是互联网核心的用户体验。线下模型训练可以花费很长时间：比如，Google 某个模型更新一次需要几千台机器，大约训练半年时间。但是，线上使用模型的时候 要求一定要 “快，实时 (real-time)” …
  7.  【机器学习 之五】”Scalability” 是互联网的核心问题之一。搜索引擎索引的重要网页超过 100 亿: 如果1台机器每秒处理1000 网页，需要至少100天。所以出现了 MapReduce, MPI, Spark, Pegasus, Pregel, Hama … 等分布式计算构架。选择什么样的计算平台，和算法设计紧密相关 ..
  8. 【机器学习在互联网应用 10 大挑战 之三，四】高数量和高质量 “标定数据” 是机器学习效果的保障，但是获取标定数据需要耗费大量人力和财力。而且，人会出错，人有主观性。如何获取高数量和高质量标定数据，或者用机器学习方法只标定 “关键” 数据 (active learning) 值得深入研究 …
  9. 【机器学习在互联网应用 10 大挑战 之二】 “不平稳随机过程产生的数据”：机器学习模型往往假设数据的产生是 “平稳随机过程”。但是有些互联网数据（比如 spam 邮件，spam 网站等）的产生是动态的，不平稳随机过程 …
  10. 【机器学习在互联网应用 10 大挑战 之一】 “数据稀释性”：训练一个模型，需要大量（标注）数据，但是数据往往比较稀疏。比如，我们想训练一个模型表征某人 “购物兴趣”，但是这个人在网站上浏览行为很少，购物历史很少，很难训练出一个 “meaningful model” 来预测应该给这个人推荐什么商品等 …
  11. @张栋_机器学习: 【一个兴奋的想法】机器学习需要大量 “标定数据”，互联网上有大量无聊的人。如果能够设计几个小游戏，让这些无聊的人把多余的精力花在帮助标定数据上（同时，也能得到乐趣），这将是一件多么美妙的事情！我愿意出想法，出钱，出资源 做这件事情，有没有志愿开发者？ //@张栋_机器学习: 是的，很多年了：是对我过去几年工作的总结，也是未来工作的起点！ // @宪策: 这一定是思考过很久了 🙂 感觉都在点子上//@张栋_机器学习: 今天讲座中，我提到了 “机器学习在互联网应用面临的 10 大挑战” （如下图）。 记得 Eric 说过类似的话：Google is looking for the most talented and creative engineers to tackle the toughest challenges in Internet … 我希望和有志于此的工程师多交流 [12/04/2011 11:21:41]
Tags: , , , ,
Filed in 微博资讯 with 0 Comments
«
»

Leave a Comment

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据。

sidebartop

微信扫描，关注公众号

sidebarbottom
sidebartop


sidebarbottom
sidebartop
京东，新蛋，易迅
卓越 ，淘宝， 1号店
sidebarbottom
sidebartop

相关链接

sidebarbottom
sidebartop

文章归档

sidebarbottom
sidebartop


sidebarbottom
©2010--2014 SAS资源资讯列表 by sxlion