成功实施基于Java的Hadoop所需的方法

   一个大数据分析的兴趣浪潮，引领许多开发团队经理考虑Hadoop技术。当他们这样做时，也需要盘点采用Hadoop所需的技能。

    在谷歌MapReduce模型的基础上，Hadoop分布计算任务，然后汇总结果。Hadoop是基于Java的，所以它通常需要Java编程能力。

    实现Hadoop与企业应用程序开发团队可能使用到的Java开发项目有所不同，虽然有效的大数据分析确实与传统的SOA有一些相似--但它是面向批处理的开发。

    Hadoop不是实时操作【商业智能】，而是发现，探索和分析大量多结构化数据，“MWD顾问公司分析师Helena Schwenk说。她通过电子邮件告诉SearchSOA.com,一个成熟的Hadoop实现团队的技能应包括：大规模分布式系统的经验和如Java,C++,Pig Latin和HiveQL等语言知识。数据挖掘和分析技能，如预测建模，自然语言处理和文本分析技能也是重要组成部分。

    Shwenk继续解释说，其他领域需要考虑的是数据管理，结构化和非结构化数据集成，一些列数据延迟要求，架构支持可扩展性和高速处理。

    显然，灵活性很重要，团队成员需要随时更新和拓宽自己的技能。 Schwenk说：”大数据的挑战，不能由一个单一的平台或引擎解决。“她说，相反，团队成员需要采用多种技术，组件和架构。她接着说，如Hadoop,MapReduce和分布式NoSQL数据库技术将有可能成为组合的一部分，但”如内存数据库，柱状数据库和大规模并行处理架构技术“也很具发展潜力。

    当然，许多企业的价值将真正来自整合大数据分析与现有的企业架构。有办法做到这一点，据Schwenk所说，是把大数据项目融合到企业过程和如数据仓库的数据资产，来更全面的了解自己的企业。

    Schwenk说：”大数据，会要求你仔细思考采购和投资正确的人，分析技能和经验，以确保你可以利用大数据提供的机会优势。“

    这可能意味着一些应用程序开发团队将不得不雇用新的人才，或者为现有的成员提供培训。
 

（编辑：济南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!