-
大数据处理算法一：BitMap算法
所属栏目：[大数据] 日期：2020-12-31 热度：173
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ ?解析:bitmap算法就好办多了 ?所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不[详细]
-
大数据处理算法二：Bloom Filter算法
所属栏目：[大数据] 日期：2020-12-31 热度：200
百度面试题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ Bloom?Filter 是由 Bloom 在 1970 年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不[详细]
-
数据意识崛起，从企业应用看BI软件的未来发展
所属栏目：[大数据] 日期：2020-12-31 热度：150
前阵子，和一群企业CIO聊天，希望从甲方角度看看对BI产品的看法。在问及一些成熟企业为何不上BI项目时，大家纷纷表示目前还处于观望状态。 提及BI，大家都觉得有些飘忽，和大数据一样，听着高大上，能真正实现落地的并没有多少，性价比甚至不如一个报表工具[详细]
-
宋慧庆|广告系统中的大数据处理
所属栏目：[大数据] 日期：2020-12-31 热度：193
宋慧庆 ，时趣互动 移动广告架构师 十余年互联网老司机，具有多年互联网广告系统研发经验，负责研发个性化动态创意系统，用户画像标签系统以及大数据治理；对编程语言有浓厚的兴趣。 什么是大数据？ 从具备4V（Volume，Velocity，Variety，Value）特征的大量[详细]
-
使用R语言挖掘QQ群聊天记录
所属栏目：[大数据] 日期：2020-12-30 热度：79
数据挖掘入门与实战 ?公众号： datadw 1、获取数据 从 QQ 消息管理器中导出消息记录，保存的文本类型选择 txt 文件。这里获取的是某群从 2016-04-18 到?2016-05-07 期间的聊天记录，记录样本如下所示。 2、数据预处理 打开 R 软件，先通过 File—Change dir[详细]
-
视音频数据处理入门：PCM音频采样数据处理
所属栏目：[大数据] 日期：2020-12-30 热度：131
===================================================== 视音频数据处理入门系列文章： 视音频数据处理入门：RGB、YUV像素数据处理 视音频数据处理入门：PCM音频采样数据处理 视音频数据处理入门：H.264视频码流解析 视音频数据处理入门：AAC音频码流解析[详细]
-
视音频数据处理入门：AAC音频码流解析
所属栏目：[大数据] 日期：2020-12-30 热度：112
===================================================== 视音频数据处理入门系列文章： 视音频数据处理入门：RGB、YUV像素数据处理 视音频数据处理入门：PCM音频采样数据处理 视音频数据处理入门：H.264视频码流解析 视音频数据处理入门：AAC音频码流解析[详细]
-
自从有了BI商业智能系统，再也不用担心我的作图了！！！（图文）
所属栏目：[大数据] 日期：2020-12-30 热度：63
最近使用spotview商业智能系统，简单的一点体验分享一下。 这是一个金蝶公司合作的产品，纯B/S架构，设计页面和展示端，现在这已经是不可抵挡的趋势了。只有后台设计模型是需要在服务器上做，类似于数据库里做视图，只要将有关联表的字段用线连接起来就OK了[详细]
-
使用 R 语言挖掘 QQ 群聊天记录
所属栏目：[大数据] 日期：2020-12-30 热度：160
1、获取数据 从 QQ 消息管理器中导出消息记录，保存的文本类型选择 txt 文件。这里获取的是某群从 2016-04-18 到?2016-05-07 期间的聊天记录，记录样本如下所示。 2、数据预处理 打开 R 软件，先通过 File—Change dir 切换到聊天文件所在目录。 引入包： li[详细]
-
大数据分析相关
所属栏目：[大数据] 日期：2020-12-30 热度：69
类比: 谈谈互联网后端基础设施 www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/ 文件系统: ??? hdfs 数据库: ?? hbase 计算系统: ?? hive sql管理和定时执行平台: ??? 阿里宙斯zeus.(自称调度,并没有资源协调功能,有hive本身完成) 统计分析和展现平[详细]
-
[bigdata-022] hive和impala的对hbase的精细order by操作
所属栏目：[大数据] 日期：2020-12-30 热度：138
1. 要用hive给hbase的表创建一个外部表。不能用impala，因为它在这块有缺陷。 2. 在hive创建一个本地表，注意，一定不要创建在hbase上。 3. 在hive里，执行order by命令，对外部表进行排序，然后将排序结果写入到2创建的hive本地表。这时候，因为order by是[详细]
-
大数据分析当人们谈《鬼吹灯》时，都谈些什么？
所属栏目：[大数据] 日期：2020-12-30 热度：173
文 | 艾漫数据 近日，又一部考古探险题材网剧火热上线，老干部靳东搭档陈乔恩主演的《鬼吹灯之精绝古城》。相比之前同类型作品，这次的改编开播后的口碑可以用“交口称赞”形容，上线两周后好评率达到87%以上。 小编不禁好奇，究竟是什么样的内容，引得观众[详细]
-
分享 ：2017年商业智能 BI 发展趋势分析
所属栏目：[大数据] 日期：2020-12-30 热度：142
在展望2017年商业智能 BI 发展趋势前，我们先来了解一下商业智能?BI?发展的几个重要阶段。 传统 BI 和新型 BI 的分水岭（2013年） 大背景 在2013年以前相当长的一个周期（2005年-2013年），市场主要流行的商业智能BI产品以?SAP BO、Oracle BIEE、IBM Cognos?[详细]
-
leetcode 43. Multiply Strings 9大数相差（java实现）
所属栏目：[大数据] 日期：2020-12-30 热度：91
原题： Given two non-negative integers? num1 ?and? num2 ?represented as strings,return the product of? num2 . Note: The length of both? num2 ?is 110. Both? num2 ?contains only digits? 0-9 . Both? num2 ?does not contain any leading zero. Yo[详细]
-
[bigdata-044] CDH的官方文档部分翻译（未整理且未完成）
所属栏目：[大数据] 日期：2020-12-26 热度：127
1. cloudera官网 http://www.cloudera.com/ 2. cloudera文档 http://www.cloudera.com/documentation.html 3. 文档分为三个部分 ? 3.1 cloudera enterprise: cdh,cloudera manger,search,impala,spark。 ? 3.2 cloudera director: 安装指南，配置，以及使用c[详细]
-
慧眼云：基于云计算和大数据分析的主动防御实践
所属栏目：[大数据] 日期：2020-12-26 热度：154
http://www.csdn.net/article/1970-01-01/2825623 不论IT如何变迁，网络安全始终是不过时的话题。但不同环境的网络安全有不同的内涵，当前全产业转型“互联网+”，云计算、大数据和移动互联网技术的普及应用，极大地改变了IT架构，网络边界越来越模糊，同时[详细]
-
[bigdata-045] redis故障处理 #34;Can#39;t save in backg
所属栏目：[大数据] 日期：2020-12-26 热度：180
发现官网出错了。经过检查，发现连接不到redis。检查redis的log，发现错误 Can't save in background: fork: Cannot allocate memory 搜索相关资料，这里说的比较详细 http://www.cnblogs.com/qq78292959/p/3994341.html http://blog.csdn.net/zqz_zqz/artic[详细]
-
[bigdata-046] eclipse+spring开发web然后部署到tomcat
所属栏目：[大数据] 日期：2020-12-26 热度：133
1. 用eclipse开发spring，需要使用相关的ide 2. spring官网的ide https://spring.io/tools/eclipse 3. spring的tool suite https://spring.io/tools/sts 这个是专用开发spring的。 选择 https://spring.io/tools/sts/all 这里的linux64版本。 4. 在eclipse e[详细]
-
大数据分析与处理
所属栏目：[大数据] 日期：2020-12-26 热度：107
? ? 一、大数据分析与处理 1.文件批处理 ??????以MapReduce、Hive为典型代表，批处理模式解决了传统的数据仓库无法处理海量数据的难题。通过批处理计算引擎，使得海量数据分析成为可能。没有批处理引擎的诞生，也就没有今天风风火火的大数据。 ??????数据通[详细]
-
新飞电器的BI建设案例
所属栏目：[大数据] 日期：2020-12-26 热度：192
一、河南新飞电器简介 河南新飞电器在制造行业内属于领先地位，其信息化程度较高，面对系统多且杂乱的情况，一个集中展示数据的平台就显得尤为重要。使用BI就是为了在一个相对统一的平台展示需要查看的数据，供决策层进行分析查看，从而做出更加有依据的判断[详细]
-
Gartner发布2017年商业智能（BI）魔力象限报告――云商业智能工
所属栏目：[大数据] 日期：2020-12-26 热度：81
对我来说，等待Gartner发布最新一期的Gartner商业智能魔力象限报告，看看有哪些最新的意外总是一件令人兴奋的事情。 今年的魔力象限报告包括几个意外，并且对这个市场的现状以及未来发展方向发表了几点想法。 2017年的魔力象限看起来像这样： Gartner还没有[详细]
-
BigData数据可视化软件及工具
所属栏目：[大数据] 日期：2020-12-26 热度：179
摘要： 大量繁杂的数据在经过可视化工具处理后，就能以图形化的形式展现在用户面前，清晰直观。随着各种数据的增加，这种可视化工具越来越得到开发者们的欢迎。本文向大家推荐30款数据可视化工具。 各个互联网公司通过大量的用户数据、信息进行统计分析，而[详细]
-
ArcGIS Desktop 无法录入数据处理一例
所属栏目：[大数据] 日期：2020-12-26 热度：182
最近，搭建了一个DB2的测试环境，装完系统后，发现有一个美国带的样例数据无法导入，详细环境如下： 桌面:Desktop 10.3.1 DB2: V97 FP8 X64 For NT 从错误信息上得不到任何的提示，继续做测试 导入数据的时候出了空间字段，属性字段全部删除，可以导入进去，[详细]
-
URAL - 1153 Supercomputer 大数开方
所属栏目：[大数据] 日期：2020-12-26 热度：116
??????? 题意：给定m，m = n * (n+1) / 2，计算n值。 ????? 思路：n = SQRT(m*2) ???? 注意m很大，需要自己实现大数开方。我用的是自己写的大数模板：大数模板 AC代码 #include cstdio#include cmath#include algorithm#include cstring#include utility#inc[详细]
-
[bigdata-047] 禅道 ubuntu 配置开机自启动服务 开机启动
所属栏目：[大数据] 日期：2020-12-26 热度：195
1. 在/etc/init.d目录下创建chandao文件 内容如下： #!/bin/bash /opt/lampp/lampp restart 然后增加全选 chmod 755 chandao 2. 运行runleve命令，查看现在的run level是多少，通常是2 3. 既然是2,就在/etc/rc2.d目录下，创建一个链接 ln -s /etc/init.d/cha[详细]
