来源:“能源与环保”微信2015-05-27
例如, google 针对搜索业务提出的mapreduce,bigtable, gfs 引发了人们对未来互联网思考.
来源:cnblogs2015-05-27
典型的例子就是hadoop mapreduce,把计算任务分配到要处理的数据所在的节点上运行,从而避免在网络上传输数据。...google整个的软件构架都是基于各种各样的分布式系统,诸如borg、 mapreduce、bigtable等。正是这些分布式系统,使得google可以处理高并发请求响应以及海量数据处理等。
来源:电工学习网2015-05-19
(1)编程模型mapreduce是google开发的java、python、c++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1tb)的并行运算。...mapreduce模式的思想是将要执行的问题分解成map(映射)和reduce(化简)的方式,先通过map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过reduce
来源:《中国电机工程学报》2015-04-17
对电力企业来讲,电力大数据的基本处理流程与传统数据处理流程并无太大差异,主要区别在于:电力大数据需要处理大量、非结构的数据,所以在各个环节都可以采用mapreduce等方式进行并行处理。...分布式计算的一个典型代表是google公司提出的mapreduce编程模型,该模型先将待处理的数据进行分块,交给不同的map任务区处理,并按键值存储到本地硬盘,再用reduce任务按照键值将结果汇总并输出最终结果
来源:码农网2015-01-15
mapreduce是当前云计算主流并行编程模式之一。mapreduce模式将任务自动分成多个子任务,通过map和reduce两步实现任务在大规模计算节点中的高度与分配。
来源:比特网2014-08-26
在分析层面,除了传统的sql和mapreduce之外,还引入了最新的图形分析引擎,能够处理大规模分析图表查询以及预建图形功能,并可以应用到客户流失、产品关联性、欺诈侦测以及推荐引擎等分析场景。
来源:大云网2014-07-29
它包括common、distributedfile system、mapreduce三个组件部分。
来源:OFweek物联网2014-03-24
该技术和mapreduce一样,具有强大的批处理能力,而且impala对于实时的sql查询也有很好的效果,通过高效的sql查询,你可以很快的了解到大数据平台上的数据。...该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,spark用scala语言实现,构建在hdfs上,能与hadoop很好的结合,而且运行速度比mapreduce
来源:中国储能网新闻中心2014-03-05
从samza到百度云,从hadoop的mapreduce到mongodb的nosql,我们的生活早已遍布大数据的应用。
来源:中国能源报2014-03-05
来源:机房3602013-12-26
在传统的云相关技术架构上,可以将hive,pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。...原来我思考的是将hive划入到数据分析层能力不合适,因为hive重点还是在真正处理下的复杂查询的拆分,查询结果的重新聚合,而mapreduce本身又实现真正的分布式处理能力。
来源:光明网2013-12-23
通过hdfs、mapreduce、hbase、hive等多个维度的创新算法、规模化改进和优化, 云谷cloud canyon在产品功能和性能方面实现了突破。
来源:电脑之家2013-12-10
引言2005年jeffery发布mapreduce全新计算架构文章,2006年亚马逊推出ec2业务,随后google首次推出云计算概念,到 2009年,云计算被主流分析机构认为是战略it技术之首。
来源:比特网2013-11-27
symphony是同类中最佳的mapreduce执行方案,对计算密集型大数据应用优势明显;biginsight在hadoop框架上增加了ibm独特的技术优势,如安全管理和工作流等,并融入了ibm独特的数据分析
来源:WEB开发者2013-10-21
:一是用基于percolator的增量处理索引系统来取代mapreduce批处理索引系统,这个索引系统被称作caffeine,它比mapreduce批处理索引系统搜索更快。
来源:赛迪网2013-10-18
在此基础上,eayunos可以对接基于mapreduce、hive和mahout等大数据挖掘与分析工具,并提升与oracle、db2、mysql、teradata等关系式数据库、数据仓库和bi软件的互操作能力
来源:比特网2013-10-15
在软件方面,如hadoop和mapreduce等新兴的技术,可以帮助客户在基于行业标准的硬件环境当中建立大型分布式存储和计算机群,显著改变数据处理和分析的经济效益。...开发者可以在javascript中使用新的javascript库来轻松编写mapreduce程序,然后通过一个简单的浏览器来部署他们的javascript代码。
来源:西墙网2013-10-11
7、amazonamazon(亚马逊)向来以企业云平台闻名于世,但同时也推出过一系列大数据产品,其中包括基于hadoop的elastic mapreduce、dynamodb大数据数据库以及能够与amazon
来源:机房3602013-10-09
事实上,现在的大数据工具都是为it专家打造的,他们可以通过c++或者java实现mapreduce功能,但是却无法提供有价值的商业算法。
来源:机房3602013-09-30
oracle hadoop装载器使客户能够利 用hadoop mapreduce处理功能建立优化的数据集,从而在oracle数据库11g中进行高效率加载和分析。...oracle数据集成hadoop应用适配器通过oracle数据集成器易于使用的界面,自动生成hadoop mapreduce代码,简化了hadoop应用与oracle数据库的数据集成。