加入收藏 | 设为首页 | 会员中心 | 我要投稿 济南站长网 (https://www.0531zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

大数据技术及相关开源软件的进步

发布时间:2021-06-26 12:38:18 所属栏目:大数据 来源:互联网
导读:今年以来, 开源 大数据 技术在英国的企业中陷入了僵局。 Channel 4的CTO Bob Harris在Computer Weekly会议中说到,企业实施 大数据 项目通常都需要采用新技术。 有一些数据问题无法在传统数据库中得到解决,因为数据量变大了。我们的用户是从2011年开始使用

 今年以来,开源大数据技术在英国的企业中陷入了僵局。


    Channel 4的CTO Bob Harris在Computer Weekly会议中说到,企业实施大数据项目通常都需要采用新技术。


    “有一些数据问题无法在传统数据库中得到解决,因为数据量变大了。我们的用户是从2011年开始使用MapReduce技术的,该软件非常尖端,但我认为它也只是补充性工具。”


    KPMG咨询服务公司的合伙人之一Eddie Short负责公司的BI实践,他说:“虽然目前很多主流企业都开始涉及大数据,但他们纯粹是出于技术层面上的考虑,无法太超前,毕竟CIO掌控着IT架构的大局。”


    KPMG鼓励员工不要把大数据太当真。Short说:“这是一个实验的过程,要做好失败的打算。”他还提到,大数据真正成为主流,还有一个“大裂口填补”(a big chasm building)的阶段。


    目前大家使用的开源技术Hadoop,其实很大程度上也只是实验阶段。


    “想要找到不是试用阶段的软件很难。这也算是IT业的‘行规’了,万事还得靠钱说话。不过从理论上来讲,如果你能通过信息,运用大数据实时分析出结果,并为市场所用的话,那么将实现一个极为成功的案例。”


    然而,这样的概率很小。


    就像BAE Systems Detica公司的数据总监Steve Shelton所说的,“如果实施方法不对,那么大数据浪费的开销对企业来说将是一个不小的打击。”


    Shelton提到了公司的几个客户,他们受到大数据潜能的吸引,部署之后才发现这些工具用处不大,损失惨重。


    由于大数据技术开源软件(如Hadoop)的局限性,许多企业在做决策的时候都在挣扎。


    他认为,在任何情况下,这些系统与历经多年的企业模型相比,都是不成熟的;尤其在文件编制方面,Hadoop稍微好一点,Storm(Python推出的程序库)就比较差了。


    除此之外,还有一个不可避免的问题,就是安全性。Shelton说:“有些软件根本没有内置的安全保护。Hadoop比较安全,但也只能放到可信任的网络中来看。我们是在一个物理上独立的网络中运行Detica的。”


    Shelton提到,他们公司的客户对于Hadoop及其补充性技术的实施还处于非常早期的阶段。


    “这是一项长远的工程,一两年内无法完成。”


    Recommind(一家财务与法律服务方向的企业调研公司)的CEO Bob Tennant是这么评价大数据技术的:Hadoop在数据获取方面表现不错,但它的“批量化”处理方式使实时数据管理变得很难,而且远未达到满足金融机构对安全性需求的阶段。“但是由于大数据容量的不断增长,企业必须迈出这一步。”


    Teradata产品市场主管Martin Willcox表示,Hadoop和其他大数据技术确实为数据分析软件带来了全新的发展空间。


    “大数据技术目前存在局限性,还不适用于所有企业。Hadoop对数据的捕捉性能非常出色,但企业用户还需要对数据的种类进行筛选。这就造成了IT与业务之间传统关系的转变--现在已经不再是企业设想出会产生的问题、IT技术随之进行架构开发与支持的时代了;而是,业务人员需要通过一个迭代过程,来发现问题。”


    他略带一点警示意味地说:“现在所有的大数据技术都是由程序员为程序员而开发,这会给企业分析师的使用带来巨大的障碍;毕竟在企业中,既为统计师、程序员出身,又对业务有着深刻理解的人凤毛麟角。”


    Willcox提到Teradata公司的Aster数据技术可为SQL和Hadoop搭起一座桥梁。


    他说:“大数据BI就像一个家庭开的作坊,有三个人在地下室里工作。要使它变得和传统BI一样工业化,就需要这样的‘桥梁'.”


    Willcox称,Teradata大数据产品的客户群体主要还是集中于美国西海岸一带。在欧洲、中东和非洲市场,他们预计的客户群体是零售商、银行和高端制造商。然而,欧洲感兴趣的人很多,但受了炒作影响,真正购买的并不多。


    他认为欧洲市场缺乏明显的业务重点。“很多人实施大数据项目,安装了Hadoop集群,对数据进行捕捉,却不知道它的价值在什么地方。”


    在Computer Weekly会议中,Hadoop开源架构的设计者之一Doug Cutting说:“大数据技术并没有突然之间就跨越了裂口(crossing the chasm),从硅谷技术公司连接到了主流企业;我感觉到的只是它在稳步增长而已。”

(编辑:济南站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!