闲谈大数据和算法,大数据算法( 二 ) _闲谈

大数据的推荐算法真的很厉害吗？

现在许多平台都使用大数据的推荐算法来向用户推荐更适合的内容，那么这个算法本身真的很厉害么？A 推荐算法的核心——分类器一个平台上的内容何止千万，如何才能准确地找到你喜欢的那几条呢？把用户分类通过你的点赞/转发/停留/评论/不喜欢这此操作，为你打上标签，把你分类到某一类别的用户中。关键点在于如何设计这些用户操作和记录的“机制”，让用户做最少的动作就能获得最有效的信息，准确地把你分类到一个集中。
把内容分类对每个视频/文章/问答/图片打上标签，这时会用到AI的一些算法，去准确地识别内容并分类。B 推荐算法的难点数据量这里并不是说数据量越大越好，其实数据量过多也是算法的难处之一，涉及到如何存储/如何处理/如何解析等等，能很好地处理庞大的数据的算法是非常不容易的。计算能力手机上的软件就那么大，手机计算能力就那么点，信息处理的能力非常有限，大部分计算是网站后台服务器实现的，可是如何能够利用每一台手机这些小小地处理器，将部分信息进行预处理，也是很厉害的。
自净化能力如果单纯是喜欢看什么，就让什么火，那后果是非常严重的，如果那样，网络上恐怕会充斥着黄色/暴力/低俗这些内容了。所以推荐机制有一个很重要的能力，准确地识别的这些内容，并把它最快速度扼杀掉。总结一下大数据的推荐算法还真的是挺厉害的，想要做一个非常好的推荐机制，需要考虑的维度非常之多，需要处理的数据量非常之大，需要计算能力非常之强。
大数据工程师跟算法工程师的区别有哪些？

大数据正在经历从概念向产业转化的过程，目前大数据领域的岗位职责也开始逐渐清晰，更多的大数据岗位将被陆续释放，这些岗位中目前比较常见的就是大数据工程师和算法工程师，这两个岗位的区别体现在以下几点：第一：定位不同。大数据工程师的定位往往从应用的角度出发，而算法工程师的定位则非常具体，大数据工程师需要解决大数据平台的设计以及应用，而算法工程师往往针对具体问题（场景）进行算法设计，有的团队也会要求算法工程师完成算法实现。
第二：职责不同。大数据工程师的任务往往都是基于大数据平台的，比如最常见的是大数据平台的功能开发，原有系统的大数据化，大数据的场景解决方案，大数据与其他系统的对接等等。算法工程师的任务往往是根据具体的场景进行算法设计、训练算法、验证算法等任务，当然也有的团队把算法设计和算法实现分开。第三：任务面不同。从工作的内容来看，大数据工程师的工作面更广一些，有的时候大数据工程师还需要做一些大数据运维方面的事情，比如大数据平台的搭建、组件部署、测试等工作，另外还可能会做一些存储、虚拟化、管控方面的任务，当然更多的任务是完成功能的开发和对接。
相比于算法工程师来说，大数据工程师的任务面更广一些。第四：发展方向不同。大数据工程师的发展方向是大数据行业专家、大数据咨询专家、大数据架构师、大数据项目经理等岗位，而算法工程师发展方向是算法专家、首席科学家（团队）等岗位。可以说大数据工程师更偏向工程实践方向，而算法工程师往往更偏向研发方向。大数据是我的主要研究方向之一，目前我也在带大数据方向的研究生，我会陆续在头条写一些关于大数据方面的文章，感兴趣的朋友可以关注我的头条号，相信一定会有所收获。