为什么编译
hadoop 官网提供了二进制包,下载、解压后可直接使用
支持snappy
snappy 作用
数据压缩:
- 节省磁盘空间
- 减小网络IO、磁盘IO
snappy 由 C++ 开发,需要根据不同的处理器架构(32位、64位)、操作系统(centos、Ubuntu、windows),重新编译,编译成 .so 或 .dll 本地库,hadoop 通过 jni 调用 本地库实现压缩功能
修改源码
根据自己需求修改源码,修改默认配置,假如更多的功能,甚至发布商业版本
hadoop 官网提供了二进制包,下载、解压后可直接使用
snappy 作用
数据压缩:
snappy 由 C++ 开发,需要根据不同的处理器架构(32位、64位)、操作系统(centos、Ubuntu、windows),重新编译,编译成 .so 或 .dll 本地库,hadoop 通过 jni 调用 本地库实现压缩功能
根据自己需求修改源码,修改默认配置,假如更多的功能,甚至发布商业版本