古法老登瞎折腾头像

YARN 已经成功,Sqoop 为什么还卡两小时?从 JHS 到 HDFS 的排查与调优

早高峰,调度平台上有一批 Sqoop 任务迟迟没有结束。

进入 YARN 查看,对应应用已经成功;再看调度平台,任务却仍然显示“运行中”,下游任务也在继续等待。

这种现象很容易让人以为是调度状态没有更新。但这次排查发现,Sqoop 进程确实还没退出:计算已经完成,客户端正在等待 JobHistoryServer 返回最后的执行结果。

可以把它理解为:货已经搬完,但负责整个流程的人还没拿到完工回执,所以无法通知下一道工序开始。

这篇文章记录这次排查过程:如何从 Sqoop 找到 JHS,再追到 HDFS 和 JournalNode,以及缓存、查询线程、归档线程这几个参数分别解决什么问题。

环境为 Hadoop 3.2.1。为保护现场信息,真实日期、具体时刻、主机地址和任务标识均已脱敏,使用相对时间描述;耗时和参数值保留原始统计口径。本文配置是本次现场调整值,其他集群需要结合自己的负载验证。

问题最明显的地方,是计算时间和任务总耗时完全对不上。

排查初期,一个 Sqoop 作业只有 1 个 Map,实际计算约 36 秒,最终抽取 0 行。

但是,YARN 成功以后,Sqoop 又等待了约 24 分钟才结束。

随后的一次早高峰,同类问题再次出现,等待时间更长。以 YARN 应用成功为起点,可以还原出下面这条时间线:

相对时间发生了什么
起点YARN 应用已经成功
约 10 秒后AM 已正常关闭服务,Sqoop 重连失败后转向 JHS
约 26 分钟后JHS 出现该作业的历史加载记录,客户端恢复了一次进度输出
此后两个多小时Sqoop 仍未退出,下游继续等待
距起点约 2 小时 38 分钟人工重启 JHS,原查询连接中断,Sqoop 本轮执行报失败

最后出现的“连接被拒绝”,是在 JHS 重启期间发生的。它解释了这次等待如何结束,不能解释前面两个多小时为什么一直卡住。

还有一个关键细节:历史记录已经被加载过,客户端却仍然没有结束。 因此,不能把整段等待都算成“历史文件还没有准备好”。

理解这个问题,需要先分清计算完成和整个流程完成。

Sqoop 负责的不只是提交计算任务。计算结束以后,它还需要确认最终状态、读取抽取行数和传输字节数等统计信息,并完成必要的后续操作。

这里会涉及几个角色:

组件通俗理解在这次问题中的作用
Sqoop整个搬运流程的负责人提交任务、确认结果、完成收尾
AM,ApplicationMaster当前作业的现场负责人作业运行时提供进度和结果
JHS,JobHistoryServer历史作业查询窗口提供已经结束的 MR 作业信息
HDFS分布式文件仓库保存作业历史文件
JN,JournalNode文件目录的变更流水账保存 HDFS 元数据修改记录

Sqoop 需要的统计信息通常叫 Counters,即计数器。可以把它理解为这次任务的统计表,例如读取多少行、写入多少字节。

这些信息不一定都要通过 JHS 获取。

如果 AM 还没有关闭,Sqoop 可以直接从 AM 拿齐结果,然后结束。如果 AM 已经退出,而客户端还有信息没有拿到,就可能转向 JHS。

本次异常任务正好走了后一条路径:

计算完成
  → AM 正常退出
  → Sqoop 还有收尾查询没有完成
  → 转向 JHS
  → JHS 迟迟没有返回
  → Sqoop 无法结束

对比正常任务,客户端赶在 AM 关闭前就拿到了结果,因此没有进入这段 JHS 等待。

所以,相同的 Sqoop 命令,有时会访问 JHS,有时可以直接完成收尾。 这与客户端查询和 AM 退出的实际时序有关。Hadoop 3.2.1 客户端实现

另外,ApplicationHistoryServer 与 MapReduce JobHistoryServer 是不同的服务。日志里出现 Connecting to Application History server,不能直接认定正在等待 JHS,更不能据此判断正在拉取任务日志。此次对应长等待的是作业状态和 Counters 查询。

排查沿着 Sqoop → JHS → HDFS → JN 继续向下推进。

查询最终状态、行数等统计

需要读取、扫描或归档历史文件

读取文件内容

创建、删除、重命名等操作

元数据写入需要多数派确认

Sqoop:计算已结束,进程仍在等待

JHS:提供历史作业状态和统计

HDFS:保存历史文件

DataNode:存放文件内容

NameNode:管理文件目录

JN:保存目录变更流水

图:从客户端收尾等待,向历史服务和底层文件系统逐层排查。

这张图有两个容易误解的地方。

首先,JN 不保存作业历史文件本身。历史文件的内容在 DataNode 上;JN 保存的是创建、删除、重命名等元数据操作的变更记录。

其次,这是一张依赖与排查图,并不表示每次查询都要走到最底层。JHS 缓存命中时,可以直接返回;读取历史文件变慢,也可能发生在 DataNode 一侧,不能看到 HDFS 等待就认定是 JN。

本次之所以继续检查 JN,是因为现场同时发现了归档线程等待 HDFS,以及 JN 同步写入变慢的证据。

JHS 没有退出,但处理请求的人已经全被占住了。

最开始,我们先注意到 JHS 的历史作业缓存很小:

mapreduce.jobhistory.loadedjobs.cache.size=5

它表示内存中缓存的已加载作业数量上限。

可以把它理解为,查询窗口的桌面只能放 5 份已经整理好的档案。高峰期不断有人查询不同作业,桌上的档案频繁被替换,后续查询就可能再次去文件仓库读取和解析。

现场确实看到,同一个很小的作业在收尾等待期间,被重新加载了 10 次。

这说明缓存值得调整,但还不能解释所有长时间等待。真正缩小问题范围的是线程快照——它相当于给 Java 进程拍一张照片,看看每个工作线程正在干什么。

故障当天重启前的快照显示:

线程当时在做什么
5 个查询线程等待历史目录扫描使用的锁
另外 5 个查询线程等待历史文件归档
3 个归档线程等待 HDFS 文件操作返回

当时共有 10 个客户端查询线程,全部被占住。

就像有 10 个查询窗口,但所有工作人员都在等档案送来。窗口没有关闭,工作人员也没有离岗,可后面的请求仍然无法及时得到处理。

Hadoop 3.2.1 的实现也与这个现象吻合:目录扫描存在同步锁,部分历史查询需要等待文件搬移,而且这段归档等待没有设置自身的超时。JHS 文件管理实现

同一天,一条 Hive SQL 也出现了类似问题:其中一个 MR 阶段已经成功,HiveServer2 却还在等待 JHS 返回 Counters,后面的阶段没有继续执行。

这说明,JHS 的问题不仅会影响 Sqoop,也可能拖住使用 MR 执行的 Hive 任务。

再往下查,发现归档变慢与底层资源竞争有关。

继续检查后发现,其中一台 JN 节点同时运行着 Trino、NodeManager、DataNode 等角色。计算任务、容器日志和 JN 日志共同使用部分磁盘资源,早高峰的 CPU 负载和磁盘等待都比较明显。

另外两台主节点也出现了 JN 秒级慢同步,并且与 NameNode 保存、传输 fsimage 的时间窗口高度重合。

fsimage 可以理解为 HDFS 文件目录的一份完整快照。定期保存这份快照,有助于 NameNode 重启时恢复。

当时配置为:

dfs.namenode.checkpoint.txns=1000000
dfs.namenode.checkpoint.period=3600

它并不意味着一定每小时才保存一次。

时间达到阈值,或者累计事务数达到阈值,都可能触发 checkpoint。 现场元数据变化较快,约每 5~7 分钟就达到 100 万事务,因此频繁保存和传输约 5 GiB 的镜像。

如果这些大文件读写与 JN 的日志写入共享磁盘资源,就可能相互影响。

但这里也不能简单理解成“一台 JN 慢,整个集群就慢”。三台 JN 通常需要拿到两台的确认。现场进一步发现,同一批事务在两台 JN 上都出现慢同步,这才让多数派写入受到影响的判断有了更多依据。Hadoop QJM 机制

本次观察到的影响可以概括为:

底层文件操作变慢,归档线程等待;查询线程又等待归档或扫描锁,最终让客户端迟迟拿不到结果。

不过,没有逐请求的完整追踪,不能把每一个长请求都唯一归因于某一台 JN。

处理时,我们把缓存、查询线程和归档线程分开看。

这三个参数名字相似,但管的是三件不同的事:

参数通俗理解本次调整
mapreduce.jobhistory.loadedjobs.cache.size桌面上能保留多少份已整理档案5 → 50 → 200
mapreduce.jobhistory.client.thread-count有多少个窗口处理客户端查询10 → 50
mapreduce.jobhistory.move.thread-count有多少人同时整理归档文件3 → 10

缓存大小,主要减少重复加载。 缓存从 5 逐步增加到 200,让近期查询过的作业更有机会留在内存中。但“200 个作业”不是固定的内存大小:一个只有 1 个 Map 的作业,与包含上万个 Task 的作业,占用差别很大。因此,需要同时观察堆内存和 GC。

查询线程数,主要增加接待能力。 client.thread-count=50 表示有 50 个工作线程处理客户端 RPC,也就是服务之间的远程查询。它不是“集群最多只能运行 50 个任务”。如果这些线程都在等待底层服务,继续加线程也无法让底层立即恢复。

归档线程数,主要增加归档处理能力。 move.thread-count=10 才是真正增加历史文件归档并发的参数。本次排查中,一个重要发现是:查询线程已经增加到 50,归档线程却仍然只有默认的 3 个。直到晚间,归档线程才单独调整到 10。

最后生效的主要配置如下:

<!-- 已加载作业缓存数量 -->
<property>
    <name>mapreduce.jobhistory.loadedjobs.cache.size</name>
    <value>200</value>
</property>

<!-- 客户端 RPC 查询处理线程数 -->
<property>
    <name>mapreduce.jobhistory.client.thread-count</name>
    <value>50</value>
</property>

<!-- 历史文件归档处理线程数 -->
<property>
    <name>mapreduce.jobhistory.move.thread-count</name>
    <value>10</value>
</property>

还有几项配置需要一起说明:

配置本次处理需要理解的边界
mapreduce.jobhistory.move.interval-ms保持 180000,即 3 分钟控制后台扫描间隔,不是“保证 3 分钟内归档完”
mapreduce.jobhistory.loadedtasks.cache.size未配置设置为有效正整数时,会改为按 Task 数量控制缓存,优先于按 Job 数控制
JHS 最大堆保持原有约 60 GiB堆上限大,不代表缓存条目自动变多,也不代表实际用了这么多内存

上述参数的含义可对照 Hadoop 3.2.1 默认配置。

配置还必须作用到 JHS 服务端。只在 Sqoop 客户端修改同名配置,不能增加服务器的缓存或线程。

该版本支持通过下面的管理命令刷新缓存:

mapred hsadmin -refreshLoadedJobCache

前提是已经更新 JHS 实际使用的配置文件,并具备管理权限。刷新会重建缓存,需要经历重新加载的过程;这条命令也不能用于刷新查询和归档线程池。本次线程数调整通过重启生效,并核对了实际线程数量。官方命令说明

除了 JHS 参数,同期还下线了混部节点上的 Trino、NodeManager 角色,并升级了相关节点的数据盘,减少底层资源竞争。

镜像压缩、镜像传输限速和 checkpoint 阈值调整虽然讨论过,但没有足够的实施、验证记录,因此没有把它们列为本次已经落地的措施。

参数改完以后,我们没有只看服务是否启动成功。

调整当晚,抽查的三个 Sqoop 和一个 Hive 实例,都在对应 YARN 应用结束后约 4~5 秒完成平台收尾。

这是改善信号,但还不够。因为这些任务可能直接从 AM 拿到了结果,并没有实际访问 JHS。于是又单独向 JHS 发起真实查询,确认能够返回,并检查请求计数确实增加。

调整后的次日早高峰继续复查,在前后两天相同长度、约 100 分钟的观察窗口中,数据如下:

指标故障当天调整后次日
RPC 排队请求数峰值520
RPC 打开连接数峰值622
RPC 处理耗时统计值的峰值约 31 分 13 秒约 4.96 秒

最后一项是监控采集到的一批已完成请求的平均处理耗时的峰值,不能理解为某一个请求的最大耗时。

次日的真实查询验证中,建立客户端并取得作业状态约耗时 475 毫秒,随后获取 Counters 约耗时 20 毫秒。前一天受影响的同一 Sqoop、Hive 任务,次日对应实例也成功结束。

归档处理日志方面,核对了次日凌晨至早高峰复查结束的 103,009 个已输出摘要的作业。从作业结束到输出归档处理摘要,95% 在约 173 秒内,最长约 247 秒。

这里需要保留一个口径说明:摘要日志会在文件搬移全部完成之前输出。 因此,这项统计用于观察处理进度,不能直接等同于完整归档耗时,也不能覆盖尚未输出摘要的积压。

结合查询结果、队列和线程快照,可以确认:截至次日早高峰复查结束,前一天的持续堵塞没有复现。

但次日在上述对照窗口之前,仍出现过约 36.9 秒的处理耗时指标尖峰。期间也同时发生了服务重启、磁盘升级、混部治理和队列并发计划下调,因此,不能把全部改善都归功于某一个参数。

这次排查留下的经验,是把“结束”拆开来看。

对调度平台来说,任务结束通常意味着整个执行流程已经完成;对 YARN 来说,应用成功只说明它负责的那部分执行已经成功。两者之间,还可能存在状态确认、统计查询、数据加载或其他后处理。

遇到类似问题,可以先按这个顺序检查:

  1. 确认是不是同一个应用。 对齐任务实例、执行尝试和 Application ID。
  2. 找出计算结束后的最后一步。 是查询状态、获取 Counters,还是已经进入后续数据处理?
  3. 如果正在等 JHS,就检查查询线程和归档线程。 服务存活、端口可连接,都不足以证明请求能够及时返回。
  4. 如果归档线程在等 HDFS,再继续查 NameNode、DataNode、JN 和磁盘。 根据实际调用定位,避免直接归因。
  5. 修改以后覆盖下一次高峰,并验证真实查询。 低峰时恢复正常,不代表高峰问题已经解决。

监控也应覆盖“YARN 已结束,但客户端长时间未完成收尾”的情况。单靠平均耗时可能发现得太晚:请求一直不返回时,完成后的耗时统计也可能迟迟不更新。

这次问题最终定位到 JHS 查询线程被扫描锁和归档等待占用,并发现了底层资源竞争和慢同步。参数调整与资源治理后,次日已观察窗口内没有再出现持续堵塞;后续仍需要通过更多高峰验证稳定性。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/changhaike/article/details/170982959

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--