大数据项目-金融审批实时数据仓库教程目录 作者：马育民 • 2025-08-10 16:16 • 阅读：10026 虚拟机安装linux VMware下载 vmware16 创建虚拟机 vmware16 安装centos7 vmware17 创建虚拟机 VMware克隆虚拟机 远程连接 centos ssh远程连接工具 修改为yum国内源 centos7 yum安装软件 centos7 yum配置国内源 centos7 yum配置SCL国内源 安装hadoop集群部署 hadoop3.x集群部署-介绍 hadoop3.x集群部署-准备linux环境-设置静态IP hadoop3.x集群部署-准备linux环境 hadoop3.x集群部署-准备linux环境-ssh免密码登录 hadoop3.x集群部署-准备linux环境-时间同步 hadoop3.x集群部署-集群角色和服务器规划 hadoop3.x集群部署-在hadoop1安装jdk hadoop3.x集群部署-在hadoop1安装hadoop hadoop3.x scp命令将hadoop1文件发送给其他电脑 hadoop3.x rsync命令将hadoop1文件同步给其他虚拟机 hadoop3.x集群部署-配置HDFS、yarn、MapReduce hadoop3.x集群部署-格式化NameNode hadoop3.x集群部署-启动、停止NameNode、DataNode、yarn hadoop3.x集群：NameNode web管理界面介绍（端口号9870） hadoop3.x集群：修改windows hosts文件 hadoop3.x集群：yarn web管理界面介绍（端口号8088） hadoop3.x集群：测试上传文件 hadoop3.x yarn介绍 hadoop3.x集群：执行 wordcount 测试 yarn 和 MapReduce hadoop3.x集群：配置、启动历史服务（history server，端口19888） hadoop3.x集群：配置日志聚集（log aggregation） hadoop启动命令：NameNode、DataNode、secondarynamenode、yarn、resourcemanager、nodemanager hadoop3.x集群：编写Hadoop集群启动、停止脚本 常见错误 yarn错误：java.net.BindException: Port in use: 8088 hadoop3.x集群：datanode不同步数据 hadoop3.x集群：挂掉datanode节点如何启动 hadoop3: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9 总结 hadoop3.x 常用端口号 配置文件模板 安装 kafkakafka 集群安装 kafka_2.12-2.4.x集群-安装部署（linux） kafka_2.12-2.4.x集群-启动、停止 kafka_2.12-2.4.x集群-编写集群启动脚本、停止脚本 安装Maxwell 大数据项目-金融审批实时数据仓库：MySQL 开启binlog Maxwell教程：创建maxwell数据库、创建用户 Maxwell1.29.x 安装部署 ODS层大数据项目-金融审批实时数据仓库-数仓开发之ODS层 大数据项目-金融审批实时数据仓库：采集数据-增量同步（启动zookeeper、启动kafka、启动maxwell 大数据项目-金融审批实时数据仓库：生成数据 大数据项目-金融审批实时数据仓库：采集数据-全量同步（启动zookeeper、启动kafka、启动maxwell） DIM维度层 维度表 大数据-数据仓库分层：DIM维度层 大数据项目-金融审批实时数据仓库-业务表分类：事实表、维度表 大数据项目-金融审批实时数据仓库-动态维护维度表 大数据项目-金融审批实时数据仓库-动态维护维度表：创建数据库、表、开启binlog、测试kafka flink1.12.x source数据源-kafka，从头读取数据 大数据项目-金融审批实时数据仓库-DIM层运行、调试程序 安装redis redis教程-linux centos安装（适合大数据） 原文出处：/show_1GW1eSNpD0Z8.html