电商平台化治理发展历程
本文目录
大数据时代发展历程是什么
大数据技术发展史：大数据的前世今生
今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。
你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。
现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。
因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。
当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。
两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。
如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。
我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。
Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。
2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。
同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。
这个时候，Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的操作，Pig经过编译后会生成MapReduce程序，然后在Hadoop上运行。
编写Pig脚本虽然比直接MapReduce编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapReduce的计算程序。
这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。
随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。
在Hadoop早期，MapReduce既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用，也使得MapReduce非常臃肿。于是一个新项目启动了，将MapReduce执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。
同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapReduce在企业应用中的地位。
一般说来，像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。
而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。
在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。
除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。
我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。
事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。
但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。
正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。
上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。
此外，大数据要存入分布式文件系统（HDFS），要有序调度MapReduce和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。
图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。
希望对您有所帮助！~
农村电子商务是什么有什么发展趋势
一号文件渐行渐近，农业细分板块主题也将迎来机会，尤其是近期“互联网+农业”相关政策密集出台，政府高层也力挺农村电商，可谓利好不断。分析人士认为，农村电商市场广阔，加上政策助力，相关涉农上市公司有望爆发。
政策云集利好不断
谈到政策面的利好，仅就近期来看，可谓密集。财政部日前发布了关于印发《农业综合开发扶持农业优势特色产业促进农业产业化发展的指导意见》，提出从2016年开始，农业综合开发产业化经营项目集中支持区域农业优势特色产业，鼓励发展“互联网+农业”，积极支持优势特色农产品(000061,股吧)电子商务平台建设。
力争用3年时间，在各农业综合开发县初步形成1-2个优势特色产业，以省为单位各形成10个左右、在全国初步形成百个资源比较优势大、产业链条延伸长、一二三产业融合发展、示范带动作用强的区域农业优势特色产业集群。
11月9日，国务院办公厅印发《关于促进农村电子商务加快发展的指导意见》，全面部署指导农村电子商务健康快速发展，明确培育农村电子商务市场主体、扩大电子商务在农业农村的应用和改善农村电子商务发展环境三大任务。
无独有偶，近日中共中央办公厅、国务院办公厅印发了《深化农村改革综合性实施方案》，聚焦农村集体产权制度、农业经营制度、农业支持保护制度、城乡发展一体化体制机制和农村社会治理制度等五大领域，成为我国农村改革的顶层设计方案。
另外，早在今年5月8日，国务院出台《大力发展电子商务的指导意见》，其中就要求加强互联网与农业农村融合发展，引入产业链、价值链、供应链等现代管理理念和方式，出台支持政策措施。
市场广阔蓝海待掘
随着政策支持的不断落地，农村电商发展也异常快速。11月16日商务部市场体系建设司副司长孔令羽做客中国政府网时谈到，去年全国网民已经达到6.68亿，农民网民也上升到1.78亿，网购有7714万人，同比增长40.6%，农村网购规模超过1800亿，同比增长60%以上。
同时商务部电子商务和信息化司副巡视员贾舒颖说，今年1-9月，我国电子商务网络零售交易额接近2.6万亿元，其中农村网购规模约为1830亿元，占全社会网购总规模的7%。
众成证券杨凡指出，我国农业规模庞大，农产品和农资交易都在万亿元以上规模。据预测,2016年全国农村网购市场规模将突破4600亿元，呈爆发性增长。未来农资市场容量有望超过1.5万亿元，农产品市场容量将超过4万亿元，农村消费电商也在万亿元级别，发展空间巨大。
中泰证券研究员谢刚也表示，从政策发布的频度以及密度来看,足见国家对于推进农村电商基础建设、扩大农村消费的重视程度。当前全国共有超过68万个行政村,9亿多农村人口,挖掘农村消费潜力对于我国刺激内需、加快经济转型来说是非常重要的一环。
深耕服务者望脱颖而出
近年来，在政策支持和市场吸引下，阿里巴巴、苏宁、京东等互联网巨头纷纷推进下乡之路，同时在传统农业企业里也在以不同的方式推进“互联网+农业”。环顾A股市场，金正大(002470,股吧)、史丹利(002588,股吧)、芭田股份(002170,股吧)、和邦生物(603077,股吧)、新都化工(002539,股吧)、苏宁云商(002024,股吧)、辉隆股份(002556,股吧)、农产品、大北农(002385,股吧)等多概念股迎来契机。
中泰证券建议，从投资角度来看,我们推荐积极关注新都化工(打造哈哈农庄电商平台,实现购物、运输、定制、娱乐一站式服务平台)、金正大(农商1号,构建起集“互联网+农业+渠道+技术+服务”于一体综合平台)、辉隆股份(供销社平台渠道优势明显,背靠中科院拥有完善技术支持)。
中信证券(600030,股吧)则认为，农村电商政策将利好龙头公司渠道下沉打开成长空间及农产品批发市场盈利模式升级两方面，看好有资源优势的电商及农批市场龙头股：农产品(全国农批市场龙头，国企改革有望受益)、苏宁云商(1500家乡镇服务站布局农村电商)、永辉超市(601933,股吧)(生鲜农超对接典范，携手京东发力O2O)。
长江证券(000783,股吧)分析师李锦则认为，农村电商市场整体繁荣可期,而真正能够脱颖而出者,必然是能够深知农村消费者习性、并精耕服务者。个股方面,建议重点关注：拟收购供销大集优质资产，实现供销社资源登陆A股上市，成功卡位农村市场的西安民生(000564,股吧)；具备农村化肥经销网点、盐直销网点基础资源，以线上平台和线下体验店形式加快农村电商布局的新都化工。
阿里巴巴集团的发展历程
1999年9月，马云带领下的18位创始人在杭州的公寓中正式成立了阿里巴巴集团。
2000年1月，阿里巴巴集团从软银等数家投资机构融资2，000万美元。
2004年2月，阿里巴巴集团从数家一线投资机构融资8200万美元，成为当时中国互联网届最大规模的私募融资。
2005年10月，阿里巴巴集团于中国雅虎签订合作协议，收购并接管中国雅虎。
2012年9月，阿里巴巴集团完成对雅虎初步的股份回购并重组与雅虎的关系。
2016年4月18日，阿里巴巴集团与新西兰政府指定机构新西兰贸易发展局(NZTE)签署战略合作协议。
扩展资料：
阿里巴巴网络技术有限公司（简称：阿里巴巴集团）是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立。
阿里巴巴集团经营多项业务，另外也从关联公司的业务和服务中取得经营商业生态系统上的支援。业务和关联公司的业务包括：淘宝网、天猫、聚划算、全球速卖通、阿里巴巴国际交易市场、1688、阿里妈妈、阿里云、蚂蚁金服、菜鸟网络等。
2014年9月19日，阿里巴巴集团在纽约证券交易所正式挂牌上市，股票代码“BABA”，创始人和董事局主席为马云。
2018年7月19日，全球同步《财富》世界500强排行榜发布，阿里巴巴集团排名300位。
