-
基因数据处理37之bdg-formats编译成功
所属栏目：[大数据] 日期：2021-03-07 热度：171
更多代码请见：https://github.com/xubo245/AdamLearning 1解释 bdg-formats是在spark平台上用avro定义的基因处理的数据格式，包括read、sam、vcf、databaseannotion在云平台上的格式，主要用于Adam系统中 2.代码： 【2】下载 编译： mvn clean package -D[详细]
-
《hadoop进阶》PeopleRank从社交关系中挖掘价值用户
所属栏目：[大数据] 日期：2021-03-07 热度：158
副标题#e# 转载请注明出处： 转载自? Thinkgamer的CSDN博客： blog.csdn.net/gamer_gyt 代码下载地址：点击查看 1：PageRank 与 PeopleRank 2：需求分析：挖掘CSDN博客的价值用户 3：算法模型：PeopleRank算法 4：架构设计：从数据准备到PR算法的MR化 5：程[详细]
-
XTU 1247 Robb#39;s Problem
所属栏目：[大数据] 日期：2021-03-07 热度：185
思路：大数处理，可以用二维数组，也可以用Java的BigInteger来处理。我用的是Java，因为方便、快捷。 AC代码如下： import java.util.*;import java.math.*;public class Main{ final static int MAXN = 1005; public static void main(String args[]){ Sc[详细]
-
基因数据处理38之dbSnpId到omimId的映射表
所属栏目：[大数据] 日期：2021-03-07 热度：149
1.下载： 首先收到【2】，来源是【2】 【1】中有描述： You can also get those SNPs with an OMIM ID number by downloading from the dbSNP FTP site: the OmimVarLocusIdSNP table contains the information you need for your organisim of interest ([详细]
-
基因数据处理39之mango安装记录
所属栏目：[大数据] 日期：2021-03-07 热度：199
更多代码请见：https://github.com/xubo245/AdamLearning 1解释 mango安装记录 mango主要是在adam上实现 可视化平台 A scalable genome browser 2.代码： git clone https://github.com/bigdatagenomics/mango.gitcd mangomvn clean package -DskipTests[详细]
-
51NOD 1116 K进制下的大数(字符串取模 + 枚举)
所属栏目：[大数据] 日期：2021-03-07 热度：176
传送门 1116 K进制下的大数 基准时间限制：1 秒 空间限制：131072 KB 分值: 20 难度：3级算法题 收藏 关注 有一个字符串S，记录了一个大数，但不知这个大数是多少进制的，只知道这个数在K进制下是K - 1的倍数。现在由你来求出这个最小的进制K。 例如：给出[详细]
-
poj3181 Dollar Dayz (DP+大数)
所属栏目：[大数据] 日期：2021-03-07 热度：62
Dollar Dayz Crawling in process... Crawling failed Time Limit:1000MS???? Memory Limit:65536KB???? 64bit IO Format:%I64d %I64u Submit Status Practice POJ 3181 Appoint description: System Crawler (2016-05-27) Description Farmer John goes t[详细]
-
基因数据处理40之bedtools的安装和使用
所属栏目：[大数据] 日期：2021-03-07 热度：200
1.下载： git clone https://github.com/arq5x/bedtools.git 2.编译： make 3.配置： cp * /usr/local/bin/ 4.运行： bam变成bed hadoop@Master:~/xubo/data/snap$ bamToBed -i datatest.sorted.bam datatest.sorted.bed 查看： hadoop@Master:~/xubo/data[详细]
-
机器学习中的相似性度量：距离，原来还有这么多类
所属栏目：[大数据] 日期：2021-03-06 热度：100
副标题#e# 来自：苍梧 - 博客园 链接：http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html 在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法[详细]
-
大数相加，大数相乘和100！
所属栏目：[大数据] 日期：2021-03-06 热度：200
副标题#e# ???????????? 自从腾讯HR面试被刷后，也就不想找实习了，记住教训吧，没事还有九月份，现在和其他人几个人都加进去了linux3+1实验室，暑假好好干一个暑假。 ??? 大数相加虽然之前写过，但是现在写代码起码也应该有自己的风格和规范了，其实大数相[详细]
-
大数据处理语言：U-SQL 介绍
所属栏目：[大数据] 日期：2021-03-06 热度：93
副标题#e# 微软宣布了新的 Azure 数据湖（Azure Data Lake）服务，该服务被用于云分析，包括了一个超大规模信息库；一个在 YARN 上建立的新的的分析服务，该服务允许数据开发者和数据科学家分析全部的数据；还有 HDInsight，一个全面管理 Hadoop、Spark、St[详细]
-
Twitter开源大数据实时分析系统Heron：Heron架构
所属栏目：[大数据] 日期：2021-03-06 热度：64
副标题#e# Heron架构 Heron是Apache Storm的一个直接继承者。从架构角度来看，它与Storm截然不同，但是从API的角度看它是完全向后兼容的。 下面的章节指明了Heron和Storm的区别，描述了Heron背后的设计目标，并解释了其架构的主要组件。 代码库 Heron代码库[详细]
-
大数据分析界的“神兽”Apache Kylin初解
所属栏目：[大数据] 日期：2021-03-06 热度：139
副标题#e# 转自李栋，来自Kyligence公司，也是Apache Kylin Committer PMC member，在加入Kyligence之前曾就职于eBay、微软。 今天分享的主题是：聊聊“神兽”Apache Kylin的最新特性。本次分享将首先对Apache Kylin进行基本介绍；接下来介绍1.5.x最新版本[详细]
-
kylin-BI工具-tableau9
所属栏目：[大数据] 日期：2021-03-06 热度：86
副标题#e# Tableau 9 Tableau 9.x has been released a while,there are many users are asking about support this version with Apache Kylin. With updated Kylin ODBC Driver,now user could interactive with Kylin service through Tableau 9.x. Apac[详细]
-
Presto随笔
所属栏目：[大数据] 日期：2021-03-06 热度：180
解决了什么问题 快读的交互式查询 presto 和hive到底什么关系 http://www.mutouxiaogui.cn/blog/?p=395 和hive在一个层级，都是基于hdfs的。但是presto可以借助hive的元信息找到hdfs上的节点。 presto现在已经可以连接 MySQL postgre hive等了 presto为什[详细]
-
HDOJ/HDU 5686 Problem B(斐波拉契+大数~)
所属栏目：[大数据] 日期：2021-03-06 热度：198
Problem Description 度熊面前有一个全是由1构成的字符串，被称为全1序列。你可以合并任意相邻的两个1，从而形成一个新的序列。对于给定的一个全1序列，请计算根据以上方法，可以构成多少种不同的序列。 Input 这里包括多组测试数据，每组测试数据包含一个[详细]
-
LightOJ 1370 Bi-shoe and Phi-shoe（欧拉函数）
所属栏目：[大数据] 日期：2021-03-06 热度：109
题目链接： LightOJ 1370 Bi-shoe and Phi-shoe 题意： 给出n个数，要求对每个数a[i]找一个数x[i]使得小于x[i]且与x[i]互素的数的个数不小于a[i],求出所有x[i]的最小和。 分析： 和最小则每个数对应的x[i]应最[详细]
-
基因数据处理26之bcftools安装和使用
所属栏目：[大数据] 日期：2021-03-06 热度：138
1.下载： https://github.com/samtools/bcftools 2.安装 make make install 3.结合samtools使用 对排序好的bam数据用samtools生成bcf文件： xubo@xubo:~/xubo/data/testTools/se$ samtools mpileup -ugf ../hs38DH.fa hs2.sort.bam hs2.bcf 由于生成的是二[详细]
-
PrefixSpan序列模式挖掘算法
所属栏目：[大数据] 日期：2021-03-05 热度：172
介绍 与GSP一样，PrefixSpan算法也是序列模式分析算法的一种，不过与前者不同的是PrefixSpan算法不产生任何的侯选集，在这点上可以说已经比GSP好很多了。PrefixSpan算法可以挖掘出满足阈值的所有序列模式，可以说是非常经典的算法。序列的格式就是上文中提[详细]
-
大数据分析查询引擎Impala
所属栏目：[大数据] 日期：2021-03-05 热度：155
副标题#e# 来自标点符的《大数据分析查询引擎Impala》 作者：标点符（钱魏 Way） 链接：http://www.biaodianfu.com/impala.html Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系[详细]
-
1.大道至简的数据处理工具（Power Query）
所属栏目：[大数据] 日期：2021-03-05 热度：94
? ?如果你不想学复杂的函数，如果不想学更难的VBA。但你想把数据处分分析工作做好。那么，来吧！这套课程将是你最好的选择。远离繁杂，回归简单与智能化。 ? ?先来看看power query 怎么做些什么。先来展示一下效果图。[详细]
-
9个最佳的大数据处理编程语言
所属栏目：[大数据] 日期：2021-03-05 热度：166
大数据的浪潮仍在继续。它渗透到了几乎所有的行业，信息像洪水一样地席卷企业，使得软件越发庞然大物，比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重，并且对精密分析和强大又实时处理的需要变得前所未有的巨大。 那么，在巨大的数据集中进行筛[详细]
-
logminer挖掘不同数据库的归档日志，使用redo log数据字典
所属栏目：[大数据] 日期：2021-03-05 热度：56
挖掘要求: 使用测试库挖掘生产库的归档日志，生产库未设置utl_file_dir参数，生产库不能重启，无法抽取出生产库的数据字典 挖掘方法： 将生产区数据库的数据字典抽取到redo log 中，将有数据字典的redo log一块加载入logminer，使用redo log中的数据字典进[详细]
-
文本挖掘分析《欢乐颂》到底谁和谁堪称好闺蜜、谁和谁又最为般配
所属栏目：[大数据] 日期：2021-03-05 热度：78
? 听说最近大家都在看《欢乐颂》，这部热剧里，女性可谓是绝对的主角，22楼5个女房客的互动好像把男性角色们的风头都抢光了；但是热门剧中又总是不能缺了言情戏的点缀。所以，《欢乐颂》到底谁和谁堪称好闺蜜、谁和谁又最为般配呢？还是让文本挖掘为你揭晓[详细]
-
用户研究基础流程和 SPSS 快速数据处理
所属栏目：[大数据] 日期：2021-03-05 热度：181
副标题#e# 本公众号为阿里巴巴集团 CCOUX 所属，我们会定期为您推送一些用户体验相关的原创以及一些国外文章的翻译，希望您会喜欢并关注我们。请点击上方「37点2度体验」关注我们吧！ 尽管基于在线行为监测的业务数据分析越来越被企业重视，在用户研究领域[详细]
