大数据架构详解：从数据获取到深度学习

图3就是一个典型的用户投诉上网慢的决策树的样例。

图3

图像识别领域

小米面孔相册

这项功能的名字叫“面孔相册”，可以利用图像分析技术，自动地对云相册照片内容按照面孔进行分类整理。开启“面孔相册”功能后，可以自动识别、整理和分类云相册中的不同面孔。

“面孔相册”还支持手动调整分组、移出错误面孔、通过系统推荐确认面孔等功能，从而弥补机器识别的不足。

这项功能的背后其实使用的是深度学习技术，自动识别图片中的人脸，然后进行自动识别和分类。

支付宝扫脸支付

马云在2015 CeBIT展会开幕式上首次展示了蚂蚁金服的最新支付技术“Smile to Pay”(扫脸支付)，惊艳全场。支付宝宣称，Face++ Financial人脸识别技术在LFW国际公开测试集中达到99.5%的准确率，同时还能运用“交互式指令+连续性判定+3D判定”技术。人脸识别技术基于神经网络，让计算机学习人的大脑，并通过“深度学习算法”大量训练，让它变得极为“聪明”，能够“认人”。实现人脸识别不需要用户自行提交照片，有资质的机构在需要进行人脸识别时，可以向全国公民身份证号码查询服务中心提出申请，将采集到的照片与该部门的权威照片库进行比对。

也就是说，用户在进行人脸识别时，只需打开手机或电脑的摄像头，对着自己的正脸进行拍摄即可。在智能手机全面普及的今天，这个参与门槛低到可以忽略不计。

用户容易担心的隐私问题在人脸识别领域也能有效避免，因为照片来源权威，同时，一种特有的“脱敏”技术可以将照片模糊处理成肉眼无法识别而只有计算机才能识别的图像。

图片内容识别

前面两个案例介绍的都是图片识别，比图片识别更难的是图片语义的理解和提取，百度和Google都在进行这方面的研究。

百度的百度识图能够有效地处理特定物体的检测识别(如人脸、文字或商品)、通用图像的分类标注，如图4所示。

图4

来自Google研究院的科学家发表了一篇博文，展示了Google在图形识别领域的最新研究进展。或许未来Google的图形识别引擎不仅能够识别出图片中的对象，还能够对整个场景进行简短而准确的描述，如图5所示。这种突破性的概念来自机器语言翻译方面的研究成果：通过一种递归神经网络(RNN)将一种语言的语句转换成向量表达，并采用第二种RNN将向量表达转换成目标语言的语句。

图5

而Google将以上过程中的第一种RNN用深度卷积神经网络CNN替代，这种网络可以用来识别图像中的物体。通过这种方法可以实现将图像中的对象转换成语句，对图像场景进行描述。概念虽然简单，但实现起来十分复杂，科学家表示目前实验产生的语句合理性不错，但距离完美仍有差距，这项研究目前仅处于早期阶段。图6展示了通过此方法识别图像对象并产生描述的过程。

图6

自然语言识别

自然语言识别一直是一个非常热门的领域，最有名的是苹果的Siri，支持资源输入，调用手机自带的天气预报、日常安排、搜索资料等应用，还能够不断学习新的声音和语调，提供对话式的应答。微软的Skype Translator可以实现中英文之间的实时语音翻译功能，将使得英文和中文普通话之间的实时语音对话成为现实。

Skype Translator的运作机制如图7所示。

图7

在准备好的数据被录入机器学习系统后，机器学习软件会在这些对话和环境涉及的单词中搭建一个统计模型。当用户说话时，软件会在该统计模型中寻找相似的内容，然后应用到预先“学到”的转换程序中，将音频转换为文本，再将文本转换成另一种语言。

虽然语音识别一直是近几十年来的重要研究课题，但是该技术的发展普遍受到错误率高、麦克风敏感度差异、噪声环境等因素的阻碍。将深层神经网络(DNNs)技术引入语音识别，极大地降低了错误率、提高了可靠性，最终使这项语音翻译技术得以广泛应用。

深度学习

Artificial Intelligence(人工智能)是人类美好的愿望之一。虽然计算机技术已经取得了长足的进步，但截至目前，还没有一台计算机能够产生“自我”的意识。的确，在人类和大量现有数据的帮助下，计算机可以表现得十分强大，但是离开了这两者，它甚至都不能分辨两只小动物。

深度学习算法自动提取分类所需的低层次或者高层次特征。高层次特征是指该特征可以分级(层次)地依赖其他特征。例如，对于机器视觉，深度学习算法从原始图像去学习得到它的一个低层次表达，如边缘检测器、小波滤波器等，然后在这些低层次表达的基础上再建立表达，如这些低层次表达的线性或者非线性组合，然后重复这个过程，最后得到一个高层次的表达。

深度学习能够得到更好地表示数据的特征，同时由于模型的层次、参数很多，容量足够，因此，模型有能力表示大规模数据。所以对于图像、语音这种特征不明显(需要手工设计且很多没有直观的物理含义)的问题，能够在大规模训练数据上取得更好的效果。此外，从模式识别特征和分类器的角度来看，深度学习框架将特征和分类器结合到一个框架中，用数据去学习特征，在使用中减少了手工设计特征的巨大工作量，因此，不仅效果更好，而且使用起来也有很多方便之处。

当然，深度学习本身并不是完美的，也不是解决任何机器学习问题的利器，不应该被放大到一个无所不能的程度。

小结

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!