AWS数据湖十年，云计算老大哥的磨刀之路(2)

丝瓜网小编提示，记得把"AWS数据湖十年，云计算老大哥的磨刀之路(2)"分享给大家！

schema-on-read 读时校验模式，而非写时模式

低成本存储

计算和存储分离

保护数据并防止未经授权的访问

数据湖的理念非常适合现在的互联网业务。

大数据不仅体现在数据体量爆炸性增长，而且结构化数据、非结构化数据、半结构化数据混存，因此现在的各种互联网业务产生的日志文件、图像文件、点击流、社交媒体、物联网传感器等等，都可以以原始形式放入数据湖中，同时也屏蔽了底层异构数据源。这也是传统数仓做不到的。

数据可以很轻松进入数据湖，用户也可以延迟数据的采集、数据清洗、规范化的处理，在读取的时候再灵活地以各种方式分析数据，得到运营报告，或者能执行实时分析和机器学习任务从而得到关于未来的预测结果。传统的数仓，因为模型范式的要求，业务不能随便的变迁，变迁涉及到底层数据的各种变化，没法支持业务变化。对于数据湖来说，尤其像互联网行业中新的应用，不断的发生变化，它的数据模型也不断的变化。相对来说，数据湖就更加的灵活，能更快速的适应上层数据应用的变化。

现在很多企业都建立了用于报告和分析目的的数据仓库，使用各种来源的数据，包括自己的交易处理系统和其他数据库，但建立和运行数据仓库和大数据框架既复杂又昂贵。当数据量增长或者需要向更多用户提供分析和报告时，如果不想在昂贵的升级过程上投入过多人力和精力，就需要选择更现代的架构设计以实现更低成本的存储和查询。2、从 HDFS 到 S3 的核心转换

2006 年，AWS 正式推出了 S3（Simple Storage Service），亚马逊的第一个云产品。Amazon S3 从此已成为事实上的云存储标准。

2006 年，Hadoop 推出。HDFS 是分布式存储理念的产物，MapReduce 是 Hadoop 分布式计算框架的组成部分。HDFS 提供跨集群中多个计算节点的数据分发，非常适合管理不同类型的数据源。因此，它为企业数据湖奠定了基础。