-
情人节福利！那些“浪(zhuang)漫(bi)”的程序员情书
所属栏目：[大数据] 日期：2020-12-26 热度：190
情人节到来，小编为大家准备了几篇只有程序员才看得懂的情书。小编祝天下有情人终成眷属！ 情书正文 ?do?{?a++;?b++;}?while(a??b); 我和你原本就是两个世界的人，一直都在不停的向前走。 直到有一天在某一刻相遇，我们才在彼此的世界里相拥， 然后追寻着各[详细]
-
大数据处理分析的六大最好工具
所属栏目：[大数据] 日期：2020-12-26 热度：71
我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。本文转载自中[详细]
-
![[干货]大规模数据处理的演变(2003-2017)](/uploads/allimg/c201226/160Y3U016140-1N24.gif)
[干货]大规模数据处理的演变(2003-2017)
所属栏目：[大数据] 日期：2020-12-26 热度：154
本PPT介绍了大规模数据处理的演变，从最早的Mapreduce、Hadoop介绍到最新的Beam；并最后得出结论： The future of streaming and batch is Apache Beam。 值得一看。 本PPT由Google的大神泰勒?阿克道（Tyler Akidau）分享，他是谷歌的一名高级软件工程师。是[详细]
-
算法提高 P1001 （大数乘法）
所属栏目：[大数据] 日期：2020-12-26 热度：120
当两个比较大的整数相乘时，可能会出现数据溢出的情形。为避免溢出，可以采用字符串的方法来实现两个大数之间的乘法。具体来说，首先以字符串的形式输入两个整数，每个整数的长度不会超过8位，然后把它们相乘的结果存储在另一个字符串当中（长度不会超过16位[详细]
-
如何进行大数据分析及处理？
所属栏目：[大数据] 日期：2020-12-26 热度：187
大数据的分析 从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大[详细]
-
开源大数据处理工具汇总（下）
所属栏目：[大数据] 日期：2020-12-26 热度：148
第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系统 一、Facebook?Scribe 贡献者 ：Facebook 简介 ：Scribe是Facebook开源的日志收集系统，在Faceboo[详细]
-
开源大数据处理工具汇总（上）
所属栏目：[大数据] 日期：2020-12-26 热度：114
查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎会将SQL查询转换为一个或多个HBase[详细]
-
推荐大数据分析的八大工具
所属栏目：[大数据] 日期：2020-12-26 热度：194
去年，IBM宣布以17亿美元收购数据分析公司Netezza；EMC继收购数据仓库软件厂商Greenplum后再次收购集群NAS厂商Isilon；Teradata收购了Aster Data 公司；随后，惠普收购实时分析平台Vertica等，这些收购事件指向的是同一个目标市[详细]
-
大数据分析到底需要多少种工具？
所属栏目：[大数据] 日期：2020-12-26 热度：98
摘要 JMLR 杂志上最近有一篇论文，作者比较了 179 种不同的分类学习方法（分类学习算法）在 121 个数据集上的性能，发现 Random Forest （随机森林）和 SVM （支持向量机）分类准确率最高，在大多数情况下超过其他方法。本文针对“大数据分析到底需要多少种[详细]
-
数据处理的统计学习（scikit-learn教程）
所属栏目：[大数据] 日期：2020-12-26 热度：170
数据挖掘入门与实战 ?公众号： datadw Scikit-learn 是一个紧密结合Python科学计算库(Numpy、Scipy、matplotlib)，集成经典机器学习算法的Python模块。 一、统计学习：scikit-learn中的设置与评估函数对象 （1）数据集 scikit-learn 从二维数组描述的数据中[详细]
-
大数版的斐波那契数列
所属栏目：[大数据] 日期：2020-12-26 热度：82
光棍的yy http://acm.nyist.net/JudgeOnline/problem.php?pid=655 时间限制：1000?ms ?|? 内存限制：65535?KB 难度：2 输入 第一行输入一个n表示有n个测试数据 以下n行，每行输入m个1 (1 = n,m = 200) 输出 输出这种组合种数，占一行 样例输入 31111122222[详细]
-
A-B Problem 大数相等
所属栏目：[大数据] 日期：2020-12-26 热度：96
A-B Problem http://acm.nyist.net/JudgeOnline/problem.php?pid=524 时间限制：1000?ms ?|? 内存限制：65535?KB 难度：3 输入 有多组测试数据。每组数据包括两行，分别代表A和B。 它们的位数小于100，且每个数字前中可能包含+,- 号。 每个数字前面和后面都[详细]
-
大数据时代必不可少的大数据分析和制作工具大全
所属栏目：[大数据] 日期：2020-12-26 热度：136
1.微信大数据分析工具 新媒体指数：http://www.gsdata.cn 2.数据可视化工具 百度ECharts：http://echarts.baidu.com/ Cytoscape：http://www.cytoscape.org/ 图表秀：http://www.tubiaoxiu.com/ 数据观：http://shujuguan.cn/ 微博足迹可视化：http://vis.pk[详细]
-
A+B Problem II 大数加法
所属栏目：[大数据] 日期：2020-12-26 热度：60
A+B Problem II http://acm.nyist.net/JudgeOnline/problem.php?pid=103 时间限制：3000?ms ?|? 内存限制：65535?KB 难度：3 输入 The first line of the input contains an integer T(1=T=20) which means the number of test cases. Then T lines follow,e[详细]
-
NBA篮球运动员大数据分析决策支持系统
所属栏目：[大数据] 日期：2020-12-26 热度：78
package com.dt.spark.sparksql import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem,Path} import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** ? * NBA篮球运动员大数据分析决策支持系统[详细]
-
条条大道通罗马：大数据分析工具的十条学习路径
所属栏目：[大数据] 日期：2020-12-26 热度：78
来自：IT经理网（微信号：ctociocom） 链接：www.ctocio.com/hotnews/22900.html （点击尾部阅读原文前往） 虽然只有极少数人能够修炼成数据科学家这一21世纪最性感多金专业人士，但对于大多数非数据分析专业的IT人士来说，掌握对路的大数据工具同样意味着加[详细]
-
某种序列-大数计算
所属栏目：[大数据] 日期：2020-12-26 热度：143
某种序列 http://acm.nyist.net/JudgeOnline/problem.php?pid=114 时间限制：3000?ms ?|? 内存限制：65535?KB 难度：4 输入 输入包含多行数据? 每行数据包含3个整数A0,A1,A2 (0 = A0,A2 = 100000000)? 数据以EOF结束 输出 对于输入的每一行输出A99的值 样例[详细]
-
视音频数据处理入门：UDP-RTP协议解析
所属栏目：[大数据] 日期：2020-12-26 热度：144
http://blog.csdn.net/leixiaohua1020/article/details/50535230[详细]
-
数据挖掘中的模式发现（八）轨迹模式挖掘、空间模式挖掘
所属栏目：[大数据] 日期：2020-12-26 热度：144
这是模式挖掘、数据挖掘的一部分应用。 空间模式挖掘(Mining Spatiotemporal Patterns) 两个空间实体之间存在若干拓扑关系，这些关系基于两个实体的位置： 分离 相交 包含 如图所示地表示位置信息，可以提取类似下面的规则： i s _ a ( x , l a r g e _ t o[详细]
-
企业BI系统应用的切入点及五大策略
所属栏目：[大数据] 日期：2020-12-25 热度：173
从技术的角度来看，BI的技术正在走向成熟，处于一个发展的阶段，但它促使了BI的应用在成本方面开始逐步的降低，越来越多的企业在BI应用方面取得了成功。从实施的角度来出发，实施商业智能系统是一项复杂的系统工程，整个项目涉及企业管理，运作管理，信息系[详细]
-
挖掘隐式启动Activity可能存在的坑
所属栏目：[大数据] 日期：2020-12-25 热度：98
今日科技快讯 很早之前，谷歌母公司Alphabet的董事长施密特就曾经表示，在中国市场，谷歌需要寻找到一个商业伙伴来开展自身的一些业务。而 近日有消息传出，谷歌和网易正在进行合作磋商，很可能是成立合资公司，在国内推出针对中国市场的Google Play应用商店[详细]
-
pyhive 连接 Hive 时错误
所属栏目：[大数据] 日期：2020-12-25 热度：125
一、User: xx is not allowed to impersonate xxx' 解决办法：修改 core-site.xml 文件，加入下面的内容后重启 hadoop 。 property namehadoop.proxyuser.xx.hosts/name value*/value/propertyproperty namehadoop.proxyuser.xx.groups/name value*/value/pr[详细]
-
分布式基础通信协议：paxos、totem 和 gossip（转载）
所属栏目：[大数据] 日期：2020-12-25 热度：70
背景： 在分布式中，最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题，涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。 简单即有效——totem协议: totem协议也[详细]
-
Hive 导入 parquet 格式数据
所属栏目：[大数据] 日期：2020-12-25 热度：105
Hive 导入 parquet 数据步骤如下： 查看 parquet 文件的格式 构造建表语句 倒入数据 一、查看 parquet 内容和结构 下载地址 社区工具 GitHub 地址 命令 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parque[详细]
-
Presto 常用配置及操作
所属栏目：[大数据] 日期：2020-12-25 热度：165
一、介绍 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 推荐阅读 Presto实现原理和美团的使用实践 二、安装 2.1[详细]
