-
掌握10到30种技术,只为创建一个大数据解决措施
所属栏目:[大数据] 日期:2021-08-24 热度:157
大数据的应用仍然太难了。尽管有很多的炒作的成分,但大多数企业仍然努力从他们的数据中获得价值。而Dresner咨询服务公司得出结论:尽管长时间的意识培养和炒作,大数据分析的实际部署目前并不广泛适用于大多数组织。 这是人员的问题。尽管有说服力的数据,[详细]
-
三个事件透析大数据思维的核心
所属栏目:[大数据] 日期:2021-08-24 热度:140
逻辑推理能力是人类特有的本领,给出原因,我们能够通过逻辑推理得到结果。在过去,我们一直非常强调因果关系,一方面是因为我们常常是先有原因,再有结果,另一方面是因为如果我们找不出原因,常常会觉得结果不是非常可信。而大数据时代,大数据思维要求我[详细]
-
机器学习最常用优化之一——梯度下降优化算法概括
所属栏目:[大数据] 日期:2021-08-24 热度:165
梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是,它们就像一个黑盒优化器,很难得到它们优缺点的实[详细]
-
过快、过量、过度:三类数据驱动型决策中的常见事件
所属栏目:[大数据] 日期:2021-08-24 热度:185
在大数据的时代,很多公司通过采用数据驱动方式进行决策。在本文中我想谈一下我们在数据分析过程中三种常见失误:过快急于求成、过量图囵吞枣、过度信息过载。 过快:急于求成 还没找到实际问题就提出解决方案 不要担心在定位问题上花费太多时间。关于越早开[详细]
-
剖析大数据分析措施论的几种理论模型
所属栏目:[大数据] 日期:2021-08-24 热度:175
做大数据分析的三大作用,主要是:现状分析、原因分析和预测分析。什么时候开展什么样的数据分析,需要根据我们的需求和目的来确定。 利用大数据分析的应用案例更加细化的说明做大数据分析方法中经常用到的几种理论模型。 以营销、管理等理论为指导,结合实[详细]
-
以Flink为例,消除流解决常见的六大谬见
所属栏目:[大数据] 日期:2021-08-24 热度:124
我们在思考流处理问题上花了很多时间,更酷的是,我们也花了很多时间帮助其他人认识流处理,以及如何在他们的组织里应用流处理来解决数据问题。 我们首先要做的是纠正人们对流处理(作为一个快速变化的领域,这里有很多误见值得我们思考)的错误认识。 在这篇[详细]
-
如何用Spark克服一些经典MapReduce问题?
所属栏目:[大数据] 日期:2021-08-24 热度:152
Spark是一个Apache项目,它被标榜为快如闪电的集群计算。它拥有一个繁荣的开源社区,并且是目前最活跃的Apache项目。Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比,Spark可以让你的程序在内存中运行时速度提升100倍,或者在磁盘上运行时速度提[详细]
-
机器学习性能革新备忘单:32个帮你做出更好预测模型的技巧和窍门
所属栏目:[大数据] 日期:2021-08-24 热度:158
机器学习最有价值(实际应用最广)的部分是预测性建模。也就是在历史数据上进行训练,在新数据上做出预测。 而预测性建模的首要问题是: 如何才能得到更好的结果? 这个备忘单基于本人多年的实践,以及我对***机器学习专家和大赛优胜者的研究。 有了这份指南,[详细]
-
有望达成大数据的六大预言
所属栏目:[大数据] 日期:2021-08-24 热度:130
当前,大数据以***的方式来创造着企业的成长为商业赢得利润。在过去十多年里,先进的数据科技分析工具问世,已经使商业精英数据中获得巨大的利益,对大多数人来讲他们只是触及了数据的表面,大数据正在以开天辟地的方式让企业获得巨大的潜能,到2017年有望实[详细]
-
大数据分析原地踏步 原来是分析工具遇到信任问题
所属栏目:[大数据] 日期:2021-08-24 热度:160
有时候大数据分析似乎总是在原地踏步,似乎数据信任的问题阻碍了数据分析的进一步应用。业务领导们理解新数据分析是必须经历的转型,但是他们不确定这种转变是否值得信赖。最近,来自咨询专业服务公司KPMG(毕马威会计事务所)的一份调查报告对这种进退两难的[详细]
-
驾好“三套车”,创建大数据产业的竞争力
所属栏目:[大数据] 日期:2021-08-24 热度:154
当前,中国大数据产业尽管已初具规模,但尚未成熟,产业界也并未就发展方向达成共识。客观来看,国家层面的支持为大数据产业的发展注入了强劲动力,这无疑是一大利好。具体来看,发展策略需要从核心要素出发,在提升三大能力补齐短板的同时把握好未来发展的[详细]
-
如何克服分布式系统可管理性问题?
所属栏目:[大数据] 日期:2021-08-24 热度:150
上期我们邀请腾讯互娱研发部高级工程师韩伟给大家分享了关于分布式系统的一些基础知识,了解了分布式系统产生的背景以及它是如何提高系统承载量的。回顾往期请看《分布式系统,你真的了解吗?》 今天我们将继续跟随韩伟的分享,来进一步学习解决分布式系统可[详细]
-
走下神坛的大数据,你必须多多接地气
所属栏目:[大数据] 日期:2021-08-24 热度:197
熬夜追完了美剧《硅谷》第三季。剧情虽然差强人意,有很多搞笑和嘲讽的片段,但是也从侧面反应了目前技术和创业圈子的真实问题,比如说,产品脱离用户/数据造假/资本见风使舵等等问题。在这篇文章里,我想谈谈大数据,谈谈那些年脱离了用户/客户的大数据。[详细]
-
为大数据定个小目标:从革新惯例开始
所属栏目:[大数据] 日期:2021-08-24 热度:102
大数据决策要真正在企业中落地生根并非易事,它必须能推动企业的自我批判意识,能够不断反思自身的惯例,推动变革。 人的行为受到习惯的约束。但我们很多的日常习惯,不是从来就有的,比如说刷牙。 在1810年代,几乎没有人有刷牙的习惯。一位叫克劳德C 霍普[详细]
-
不平衡数据的数据处理技巧
所属栏目:[大数据] 日期:2021-08-24 热度:63
在机器学习中,不平衡数据是常见场景。不平衡数据一般指正样本数量远远小于负样本数量。如果数据不平衡,那么分类器总是预测比例较大的类别,就能使得准确率达到很高的水平。比如正样本的比例为 1%,负样本的比例为 99%。这时候分类器不需要经过训练,直接预[详细]
-
如何制定数据中心冗余方案?
所属栏目:[大数据] 日期:2021-08-24 热度:156
如果想要确保虚拟基础架构的高可用性,无疑需要冗余技术,下面我们的专家顾问将会介绍企业应该如何选择最适合自己的冗余等级。 如果企业想要实现弹性机制从而确保系统高可用性,那么为虚拟基础架构选择恰当的冗余等级至关重要,但是想要完全了解企业当前需要[详细]
-
深度学习框架Caffe源码介绍
所属栏目:[大数据] 日期:2021-08-24 热度:83
相信社区中很多小伙伴和我一样使用了很长时间的Caffe深度学习框架,也非常希望从代码层次理解Caffe的实现从而实现新功能的定制。本文将从整体架构和底层实现的视角,对Caffe源码进行解析。 Caffe总体架构 Caffe框架主要有五个组件,Blob,Solver,Net,Layer[详细]
-
携程大数据实时风控的架构及应用
所属栏目:[大数据] 日期:2021-08-24 热度:182
携程作为国内OTA领头羊,每天都遭受着严酷的欺诈风险,个人银行卡被盗刷、账号被盗用、营销活动被恶意刷单、恶意抢占资源等。 目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事[详细]
-
AI研究内容和应用场景分析
所属栏目:[大数据] 日期:2021-08-23 热度:200
随着数字经济的发展,人类对各个行业的智能化应用具有非常重要的需求,而人工智能正肩负着推动数字经济纵深发展的重任。人工智能技术将成为推动社会经济发展的重要基础支撑,将与互联网一样,通过与实体经济的融合,通过各种技术、产品和工具,融入各行各业[详细]
-
AI的前沿技术与未来发展
所属栏目:[大数据] 日期:2021-08-23 热度:68
11月6日至8日举行的2020中国自动化大会期间,包括20余位院士在内的上百名业内专家,围绕智能制造机器学习智慧城市等热点话题,展望人工智能的前沿技术与未来发展。 2020年,对于人工智能领域来说,是机遇与挑战并存的一年:在国家政策的大力倾斜和各地政府政[详细]
-
人工智能+大数据为智慧城市带来哪些好处
所属栏目:[大数据] 日期:2021-08-23 热度:72
人工智能技术作为人类十大突破性技术之一,对未来世界和社会发展有着巨大的影响力,为产业持续赋能,加上我国推动新基建的大背景下,人工智能被纳为七大板块之一,可见重要性,为智慧城市发展提供助力。 人工智能和大数据作为新兴技术,两者之间结合能为智慧[详细]
-
人工智能已进入落地千行百业的关键阶段
所属栏目:[大数据] 日期:2021-08-23 热度:156
一年一度的天翼智能生态博览会天翼云论坛,天翼云均会发布重磅的产品。今年的论坛上,中国电信带来天翼云诸葛AI开放平台、混合多云管理服务、天翼云原生5GC方案等多项产品和研究成果。其中,天翼云诸葛AI开放平台名称很接地气,预示着天翼云要推动AI普及,备[详细]
-
机器学习过程中的通用流程
所属栏目:[大数据] 日期:2021-08-23 热度:192
实现什么目标 需要什么数据这个问题:如果公司有大量的数据,可以确定最终的目标是什么;如果没有则需要通过目标来确定数据集 2)获取数据 自己公司内部的数据(项目上使用),如数据库等 开源数据集,如:UCI、GoogleTrends、Kaggle、AWS公用数据集、Imagen[详细]
-
机器学习的基本过程及重要要素
所属栏目:[大数据] 日期:2021-08-23 热度:146
以下首先阐述机器学习的基本过程,罗列了几个主要流程和关键要素;继而展开介绍机器学习主要的算法框架,包括监督学习算法,无监督学习算法和常用的降维,特征选择算法等;最后在业务实践的过程中,给出了一个可行的项目管理流程,可供参考。 1.基本过程 1.1[详细]
-
交通出行应用到了哪些人工智能技术
所属栏目:[大数据] 日期:2021-08-23 热度:140
在城市交通领域,有AI红绿灯控制,街道交通智能监测、智能公交车站,以及智能高速,这些领域都已经渗透了人工智能。围绕自动驾驶和车路协同也已经在全国多个地区进入商用测试阶段。那么日常还有哪些出行场景是应用到了AI技术的呢? AI在智慧停车的应用 AI识[详细]
