大数据·面试问021：Spark Executor 参数怎
Spark Executor 参数怎么配置？

先看任务是什么类型
配置之前，我需要先确认四件事：

- 输入数据量、文件数和分区数
- Shuffle 数据量与宽依赖算子
- 单个 Task 是 CPU 密集、内存密集还是 I/O 密集
- SLA、并发任务数量和队列资源上限

如果 Task 数本来就很少，增加 Executor 数量不会带来更多有效并发。
如果单个分区特别大，增加 Executor 数量也不会自动拆开这个分区。
所以资源配置必须和数据分区、执行计划一起看。

面经 数仓面试 数仓 数据开发面试 转行大数据 大数据开发 wood聊大数据 spark