Toggle navigation
  • 首页
  • 所有教程
  • 导航
  • Python
  • 人工智能
  • JAVA
  • 数据库
  • 前端
  • linux
  • 大数据
  • 技术文章
  • 更多
    • C/C++
    • 软件
    • 大杂烩
    • 硬件
    • 搜索

spark3.0-python教程:SparkContext对象读取HDFS文件、本地文件

作者:马育民 • 2022-05-02 20:11 • 阅读:10124

说明

通过 SparkContext 对象的 textFile() 方法,读取 HDFS文件、本地文件

读取 HDFS 文件

textFile = sc.textFile("hdfs:///data/data2.txt")

读取 本地文件

textFile = sc.textFile("file:///program/data4.txt")

原文出处:/show_1IX3EtlTNWtv.html

搜索

相关文章

hive 设置内存,否则批量执行SQL会因为内存溢出崩溃
spark3.0教程-SparkSQL:连接MySQL,写入数据,打包后,部署到yarn运行(依赖第三方包)
2026年大数据平台操作系统选型指南:从CentOS替代到信创适配
2026年大数据部署方式:容器主导,混合部署成主流
spark 读取 hive 报错:Permission denied: user=xxx, access=EXECUTE, inode="/tmp":root:supergroup:drwx
不懂数据湖项目?用普通人能听懂的话讲明白
Atlas2.1.0-启动和停止(集群+单机)
flink1.12.x:per-job cluster模式(yarn-cluster)启动程序,按ctrl+c断开客户端后关闭flink任务
flink1.12.x flink list列出 Flink 集群中正在运行的任务
hadoop3.x集群部署-VMware17 克隆虚拟机
吉ICP备15003043号