加入收藏 | 设为首页 | 会员中心 | 我要投稿 东莞站长网 (https://www.0769zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MySql教程 > 正文

大数据时代下人还有隐私么?带你了解数据库的前世今生

发布时间:2018-09-19 20:10:06 所属栏目:MySql教程 来源:小橙子娱乐说
导读:9月15日技术沙龙 | 与东华软件、AWS、京东金融、饿了么四位大咖探讨精准运维! 大数据时代 小奈:表哥,为什么浏览器好像什么都知道的?我只是刚刚搜了下感冒怎么治,现在就弹出xx医院广告了。 大仁:当xx公司有了海量的数据,再根据这些数据进行精准营销(广告
副标题[/!--empirenews.page--] 9月15日技术沙龙 | 与东华软件、AWS、京东金融、饿了么四位大咖探讨精准运维!

大数据时代

小奈:表哥,为什么浏览器好像什么都知道的?我只是刚刚搜了下感冒怎么治,现在就弹出xx医院广告了。

大仁:当xx公司有了海量的数据,再根据这些数据进行精准营销(广告),他们每年都可以挣一大笔广告费。

大仁:广告虽然令人厌恶,但是数据推荐还是必要的,尤其是在信息大爆炸的时代,让信息更精准的出现在你手里。

大数据时代:人还需要隐私么?(不授权不给用)

用个人信息支付有打折,然后信息就被卖了

小奈:表哥,公司最近好像在招聘DBA(数据库管理员),后端工程师不就可以管理数据库的么?数据库和后端有什么区别?数据库又是什么呢?

大仁:看来你们公司是大公司喔,一般小公司没有dba的岗位。 其实我们常说的后端工程师,他们也设计和管理数据库。但是如果数据到了一定量级,数据库性能调优、安全稳定就需要专业的dba。 大数据时代下人还有隐私么?带你了解数据库的前世今生 数据库是什么?

大数据背后的一块块基石,则是数据库。

数据库背后有好多故事,你可能不知道数据库,但是最近火的不行区块链,其实就是去中心化的分布式数据库。

说完高大上的区块链,我们开始回溯数据库的发展吧

文件&文件系统

大数据时代下人还有隐私么?带你了解数据库的前世今生 内存篮子

最开始是计算机的出现,那时候没有硬盘,只有内存,数据不会进行存储,一般只用于科技计算,计算完输出结果后,程序就撤出内存了。

后来技术发展,才有了硬盘、文件,在文件的基础上有了文件系统。文件系统可以满足数据存放和查找的需求。

数据库的诞生

文件系统作为数据库用了一段时间,当数据越来越多、规模越来越大后,数据查找特别麻烦。数据很容易重复(冗余)、占用存储空间多,数据结构化被迫推进。

大数据时代下人还有隐私么?带你了解数据库的前世今生 文件系统 vs 数据库 文件系统和数据库的主要区别是? 简单举个例子,如上图所示。我们理解的数据和文件比较接近,例如文件1存放了玩具狗的数据,文件2存放了系铃铛的狗的数据。但其实玩具狗、玩具猫都是玩具,铃铛和玩具是可以拆分的。数据库的结构化(玩具库架子),让数据不会重复,玩具狗可以系铃铛,也可以不系。

关系型数据库

数据库出现后,慢慢演化出关系型数据库,之后又演化成非关系型数据库。我们首先介绍关系型数据库,什么是关系型数据库?

关系数据就是指数据之间是有关系的。像是上图中系铃铛的玩具狗,铃铛是属于(系在)玩具狗,那我把铃铛取下来放到玩具猫上可以么?可以,那关系就变了,铃铛在数据库里的记录变更为属于猫。 其实数据库有个(存储的关系规范)数据库范式,第一范式到到第五范式。玩具狗与铃铛的拆分只是满足了第一范式,越往下数据的压缩率就越高,相应的存储也会变慢(需要关系范式验证)。 大数据时代下人还有隐私么?带你了解数据库的前世今生 结构化、共享访问的

数据库的除了是结构化存储、它还可以共享给程序访问。文件系统时候,程序a读取文件1(小明的玩具),数据库时代,所有程序只要有权限就可以访问所有数据库里的数据(大家的玩具共享)。

数据表长什么样

数据:例如玩具狗,他的各个字段:玩具名称、是否有耳朵、多少条腿等等,玩具狗的所有信息算是一条数据。

数据表:玩具表就像一个excel表格,里面存了所有玩具的数据。 大数据时代下人还有隐私么?带你了解数据库的前世今生 玩具表 大数据时代下人还有隐私么?带你了解数据库的前世今生 铃铛表

nosql

随着经济发展,村里小孩越来越多了(云计算的到来),玩具厂每年生产的玩具也多了。一个玩具库(单机)不够用了,所以要多建立几个公共玩具库,玩具存放在不同的玩具库(多台计算机)。为了满足数据爆发式增长的存储需求,数据库部署在多台计算机上,也就是分布式数据库,但是分布式和单机不同的地方在于关系严格性上,分布式要求数据关系不那么严格(半结构化),主要是扩容和大数据存储,所以Nosql(not only sql)就诞生了。

常见的Nosql有mongodb、hbase等,这里以mongodb为例。

数据库连接

  1. var mongoose = require('mongoose')  
  2. var db = 'mongodb://127.0.0.1/test'; 
  3. mongoose.connect(db, { 
  4. server: { poolSize: 20 } 
  5. },function(err){ 
  6. if (err) { 
  7. console.log('connect to %s error:', db, err.message) 
  8. process.exit(1) 
  9. }else { 
  10. console.log('connected') 
  11. }) 

增删改查

  1. var UserSchema=newSchema({ 
  2.  
  3. name: { type: String}, 
  4. phone: { type: Number} 
  5. }) 
  6. var User = mongoose.model('User', UserSchema); 
  7. //create 增加 
  8. var user1 = new User; 
  9. user1.name = 'jack1'; 
  10. user1.phone = 123456; 
  11. user1.save(function (err) { 
  12. if (err) { 
  13. console.log(err.message) 
  14. }) 
  15. var user2 =newUser; 
  16. user2.name = 'jack2'; 
  17. user2.phone = 234567; 
  18. user2.save(function (err) { 
  19. if (err) { 
  20. console.log(err.message) 
  21. }) 
  22. //查找 
  23. User.find(function(err,users){ 
  24. if (err) { 
  25. return console.error(err) 
  26. }else { 
  27. console.log(users) 
  28. }) 

分布式vs集群

很多人可能会混淆分布式和集群的概念,分布式更像是业务拆分到不同服务器上,集群则是多台服务器一起处理同个业务。比较复杂,后续再解释。

数据库图鉴

(编辑:东莞站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读