-
调整数组元素顺序 你明白几分?
所属栏目:[大数据] 日期:2022-05-24 热度:80
有一个整数数组,我们想按照特定规则对数组中的元素进行排序,比如:数组中的所有奇数位于数组的前半部分。 实现思路 我们通过一个实例来分析下:假设有这样一个数组:[2, 4, 5, 6, 7, 8, 9, 11],将奇数移动到最前面后,就是:[11, 9, 5, 7, 6, 8, 4, 2][详细]
-
Spark SQL 字段血缘在 vivo 互联网的践行
所属栏目:[大数据] 日期:2022-05-24 热度:63
字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢? 有了字段间的血缘关系,便可以知道数据的来源去处,以及字段之间的转换关系,这样对数据的质量,治理有很大的帮助。 Spark SQL 相对于 Hive 来说通常情况下效率会比较高,对[详细]
-
帮你看明白Zookeeper如何实现服务注册发现
所属栏目:[大数据] 日期:2022-05-24 热度:66
对微服务稍有了解的小伙伴应该都听说过 Zookeeper,我们来看看在官网上是如何介绍的: Zookeeper 是一个分布式的、开源的分布式应用程序协调服务。 作为一个协调服务,常常用来配合其他中间件来用,比如:Dubbo + Zookeeper,Hadoop + Zookeeper等,Zookee[详细]
-
大数据分析如何发挥重要的作用
所属栏目:[大数据] 日期:2022-05-22 热度:200
在人们的工作和生活中,都会产生大量数据。人们每次打开电子邮件、在线联系他人、使用智能手机应用程序、与任何客户支持代表交谈、进行在线购买或联系虚拟助手时,服务提供商和开发商都会收集这些原始数据。这些庞大的、无组织的数据集群被称为大数据。 简[详细]
-
大数据时代个人隐私数据保护的挑战与思考
所属栏目:[大数据] 日期:2022-05-22 热度:138
大数据时代个人隐私数据保护的挑战与思考: 一、大数据时代个人隐私数据泄露已成为全球重大的社会问题 随着信息技术的飞速发展,数据化生存已逐渐成为人类社会运行的常态,数据在公共管理、科学研究、企业营销等领域发挥着重要作用。 疫情发生以来,利用大[详细]
-
数据管理战略 企业可实施的六个方面
所属栏目:[大数据] 日期:2022-05-22 热度:94
数据战略为更好的数据管理和治理奠定了基础,但仍有改进的空间。为了让数据管理走向现代化,企业需要正确的工具、环境、资源和权限来建立数据驱动的项目,并建立指导方针和边界,以确保成本、敏感信息的保护和法律合规性得到有效管理。 以下是企业在实施数[详细]
-
阿里巴巴云原生大数据运维平台 SREWorks 正式开源
所属栏目:[大数据] 日期:2022-05-22 热度:96
随着行业不断发展,大数据AI也逐渐呈现云原生化的趋势。复杂的业务场景及其背后涉及到的不同技术方向的开源和自研,使得产品运维面临技术复杂度高、规模大、场景多等挑战。 阿里巴巴云原生大数据运维平台 SREWorks,沉淀了团队近10年经过内部业务锤炼的 SR[详细]
-
现代数据栈是如何走向实时化的?
所属栏目:[大数据] 日期:2022-05-22 热度:128
时代已经变了,企业对传统的数据基础设施越来越厌烦,这些基础设施对关键的商业智能问题回答得很慢,而且经常过时,与当前的业务现实不同步,通常是一天或更长时间。 现代企业的需求和要求正在以戏剧性的方式转变。因此,旧的批处理模式(每天一次大的更新[详细]
-
从 垃圾 数据到数据完整性的转变
所属栏目:[大数据] 日期:2022-05-22 热度:153
数据产生的速度越来越快,这已经不是什么秘密。根据IDC的数据,由于在家里工作、学习和做事的人数突然增加,2020年产生和复制了更多的数据。此外,据预测,未来5年创造的数字数据量将是数字存储出现以来所创造数据量的两倍以上。 但这引出了一个问题,这些[详细]
-
50%企业数据治理失败!这九大要素才是成功关键
所属栏目:[大数据] 日期:2022-05-22 热度:189
知名咨询公司Gartner的调研显示,在实施数据治理的企业中,有34%的企业数据治理处于良性建设阶段,有近50%的企业数据治理并未取得理想的效果,仅有16%的企业数据治理效果显著,处于行业领先水平。 1.数据战略 很多企业都说自己重视数据,但是能规划出明确[详细]
-
大数据时代下如何保障信息安全?
所属栏目:[大数据] 日期:2022-05-22 热度:150
大数据时代下如何保障信息安全? 1.大数据时代已来 随着网络时代日益信息化,移动互联网、社交网络、电子商务大大拓展了互联网的疆土与应用领域,我们正处在一个数据爆炸性增长的 大数据时代,大数据对社会经济、政治、文化,生活等方面产生深远的影响,大[详细]
-
为什么成功的数据网格实施需要数据虚拟化?
所属栏目:[大数据] 日期:2022-05-22 热度:103
组织多年来的一贯做法是将所有数据整合到单一位置,例如数据仓库或近年来兴起的数据湖。但是,集中式数据基础架构的一些弊端已初现端倪: 1. 集中式数据团队对数据的了解程度无法与只专注于全部数据中特定部分的具体业务团队相提并论。 2. 集中式数据基础[详细]
-
智能交通 大数据科技在交通领域的应用
所属栏目:[大数据] 日期:2022-05-22 热度:73
最近几年,城市机动车保有量增长惊人,客车、面包车、私家车甚至是摩托车的年平均增幅达到了15%以上。根据分析,当车辆保有量年增长率超过20%的话,将会引起当年以及之后几年城市交通建设速度难以匹配保有量增长,引发交通问题。 现阶段我国城市路网存在着[详细]
-
2022年三个主要的数据分析趋向
所属栏目:[大数据] 日期:2022-05-21 热度:75
数据分析是一个不断发展的领域。2020年初发生新冠疫情成为主要的破坏因素,企业需要大力投资数据分析以支持其数字化转型。 在新冠疫情蔓延初期,很多企业减少开支并专注于其他紧迫的优先事项(例如支持员工远程工作),这似乎可能会阻碍数据和分析的进步。但[详细]
-
大数据技术的用处和它的五大核心原理
所属栏目:[大数据] 日期:2022-05-21 热度:91
大数据的用途 大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程是指大数据的规划建设运营管理的系统工程;大数据科学关注大数据网络发展和运营过程[详细]
-
基于数据解析给出运营建议 咋整?
所属栏目:[大数据] 日期:2022-05-21 热度:102
有同学问:如何基于数据分析提出运营建议,今天我们拿个简单的题目来举例。这个题目陈老师之前讲过,有印象的同学应该还记得。再举一次,是因为每到招聘季都有人把它搬出来,而且有关它的大部分讲解,都是错的。 已知,下图是某个电商一周销售金额走势(具[详细]
-
生活中无处不在的数据解析
所属栏目:[大数据] 日期:2022-05-21 热度:203
关于数据分析的问题 很多时候,会被一些刚刚入门或者入门两三年的同学问:数据分析就是提数据吗?为什么我感觉我像个工具人一样天天写SQL做报表呢?! 每到这个时候,我就想起来了我入行的那个夏天,每天乐此不疲的跑着SQL。好像自己那会儿没有思考过这个[详细]
-
真正指挥大规模战争的其实为大数据和人工智能?
所属栏目:[大数据] 日期:2022-05-21 热度:124
大数据和人工智能到底有多强?大部分人仍然没有直观体会,但实际上已经渗透进当今地球和人类活动的方方面面。也正在深刻地改变世界的固有形态。那些过去的超级强国,在这方面仍然遥遥领先,而那些没有跟上潮流的90%以上的国家,其实早就彻底躺平;最主要的是[详细]
-
数据分析师七大实力 梳理标签体系
所属栏目:[大数据] 日期:2022-05-21 热度:68
大家好,我是爱学习的小xiong熊妹。 这次分享一个更高级能力:构造标签体系。在提升能力的顺序上,当然是先会打一个标签,再会搞整个体系了。 一、什么是标签体系? 围绕一个业务场景,实现业务闭环操作的若干个标签组合,称为标签体系。之所以需要标签体系[详细]
-
大数据分析是啥?
所属栏目:[大数据] 日期:2022-05-21 热度:180
大数据分析:是指对规模巨大的数据进行分析,大数据可以概括为:数据量大,速度快,类型多,价值、真实性。 大数据可以概括为5个V, 数据量大、速度快、类型多、价值、真实性。 1.可视化分析 不管是对数据分析专家还是普通用户,数据可视化是数据分析工具[详细]
-
大数据研究引用挑战预测增加
所属栏目:[大数据] 日期:2022-05-21 热度:176
尽管大数据行业有大量的软件平台和产品、开发人员和数据专业人士,以及许多热心的爱好者,但对于专业数据工作者和管理人员来说,在企业中实施数据战略仍然存在一些担忧和障碍。 数据分析平台提供商Unsupervised公司日前发表了一项名为2022年大数据恐惧和预[详细]
-
专家视点 数据无处不在的云原生途径
所属栏目:[大数据] 日期:2022-05-21 热度:152
使用 Kubernetes 进行架构是必不可少的核心部分,它使数据分析异常灵活,可在业务需要的任何地方运行,并以高并发、高性能、效率和可用性大规模运行。 从金融服务和保险到制造和医疗保健等垂直领域的无数企业发现,他们需要公共和私有云、混合和边缘部署来[详细]
-
TiDB 在携程 实时标签处理平台优化践行
所属栏目:[大数据] 日期:2022-05-21 热度:149
携程是全球领先的一站式旅行平台,旗下拥有携程旅行网、去哪儿网、Skyscanner 等品牌。携程旅行网向超过 9000 万会员提供酒店预订、酒店点评及特价酒店查询、机票预订、飞机票查询、时刻表、票价查询、航班查询等服务。 在十亿级别数据量下,携程借助 TiDB[详细]
-
紧跟业务发展速度的数据治理是啥样的
所属栏目:[大数据] 日期:2022-05-20 热度:181
如今企业要获取数据,物联网(Internet of things,IoT)设备、可穿戴设备、软件即服务(Software as a Service,SaaS)应用程序和社交媒体都是来源。对这些数据的组合和深入分析可以为企业提供新的洞察力,并助力企业发现潜在商机。通过将这些能力在企业内扩[详细]
-
何为经营分析?为什么大厂这么重视它
所属栏目:[大数据] 日期:2022-05-20 热度:89
上周一连有两个大厂(短视频、游戏)的朋友来聊经营分析,着实让我好奇了一下。经营分析这个东西,以往都是传统国企做得多,咋连他们也开始纠结了。 聊完才发现:地主家也没余粮呀!toC互联网的流量见顶,成本增高,让原本花钱如泼水的大厂也得重视效益考核,[详细]