分布式的内存OLAP（On-Line Analytical Processing） 系统，推荐需要做预聚合的数据接入。常用作需要快速聚合的高度并发API的后端。 Druid 的核心特性主要包括：列式存储。列式存储的优势在于查询的时候可以只返回指定的列的数据，其次同一列数据往往具有很多共性，这带来另一个好处就是存储的时候压缩效果比较好。可扩展的分布式架构。并行计算。数据摄入支持实时和批量。这里的实时 ...

Flink 的类型分类Flink 的类型系统源码位于 org.apache.flink.api.common.typeinfo 包,类的继承关系: TypeInformationTypeInformation类是所有类型描述符的基类，它和它的所有子类必须可序列化（Serializable），因为类型信息将会伴随 Flink 的作业提交，被传递给每个执行节点。如，POJO在Flink内部使用Pojo ...

角色主要有 TaskManager，JobManager，Client三种角色。1、Client是Flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群中处理，所以Client需要从用户提交的Flink程序配置中获取JobManager的地址，并建立到JobManager的连接，将Fl ...

简介建立在HDFS之上，列存储、实时读写，列式NoSQL数据库，仅支持单行事务。NoSQL数据库，不支持SQL作为查询语言。逻辑视图中的空cell在物理上是不存储的，因此可稀疏。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力（比关系型数据库好的一点）。 使用场景数据量大。数据库量要足够多，如果有十亿及百亿行数据，那么Hbase是一个很好的选项 ...

python调用shell比较常用的是subprocess，其他可参看http://www.cnblogs.com/thinker-lj/p/3860123.html subprocess的参数： 名字 意义 bufsize 设置缓冲，负数表示系统默认缓冲，0表示无缓冲，正数表示自定义缓冲行数 stdin 程序的标准输入句柄，NONE表示不进行重定向，继承父进程，PIPE表示创建管 ...

定时任务APScheduler两种使用方法，注解和代码，参考：http://www.jb51.net/article/117989.htm三种定时，参考：https://www.cnblogs.com/luxiaojun/p/6567132.html 安装pip install APScheduler 基础（1）、触发器(trigger)　　包含调度逻辑，每一个作业有它自己的触发器，用于决定接下来 ...

使用crontab定时执行python时，os.getcwd() 的返回结果是‘/root’(网上说还可能是’/home’)，而不是python当前的目录。（网上说原因是cwd方法返回的是当前线程的路径，而线程是由crontab在执行的，因此，crontab里的文件都是绝对路径。）如果要使用python脚本当前目录，可以用os.path.abspath(os.path.dirname(__file ...

研究生妹纸一枚，方向是深度学习。马上要面临紧张的秋招。 我原本这个项目很多人都不看好，都说不好找工作。那时我是真头疼，马上要找工作了，没有项目经验。后来”人机大战“，阿尔法狗获得胜利。我也觉得没啥，但身边做这个项目的都特别高兴，好像机器人赢了，就是我们程序员的胜利。我自己本身很喜欢编程，喜欢各种的技术。 前一个月是实习生招聘，发现我的方向出奇的好找工作，呵呵（猜测是阿尔法狗对很多企业敲响了警钟）。 ...

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick ...

代码地址：https://github.com/meihuakaile/mr_test map实现1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950package com.mr.wordcount;import org.apache.hadoop.io.IntWrit ...