Apache Pig是用于做大数据量分析的平台,并且提供pig-latin作为操作pig的高级语言。
Pig将pig-latin脚本翻译成map-reduce job,交由hadoop执行。最近浏览了一下pig的代码,探究了一下pig将脚本翻译成map-reduce job的过程,以及map和reduce的执行框架,在ppt里进行了相关介绍。
Pig Source Code 思维导图,是阅读代码时候的笔记,有兴趣的同学也可以看看。有空了争取写一个源码解析,因为网上现在关于pig的资料还是太少了!
p.s. 原文地址:http://chunyemen.org/archives/608, 欢迎访问纯爷们的小生活!