学堂 学堂 学堂公众号手机端

在Spark中,动作操作是指对RDD数据集进行计算并返回结果的操作,例如collect、count、reduce等操作,这些操作会触发Spark的计算任务,并将结果返回给驱动程序。转换操作是指对RDD数据集进行转换并返回新的RDD数据集的操作,例如map、filter、flatMap等操作,这些操作不会立即触发计算任务,只有当遇到动作操作时才会触发实际的计算任务。动作操作和转换操作是Spark中非常重要的两类操作,通过这两类操作可以进行数据的处理、分析和计算。

lewis 2年前 (2023-10-25) 阅读数 8 #技术

在Spark中,动作操作是指对RDD数据集进行计算并返回结果的操作,例如collect、count、reduce等操作,这些操作会触发Spark的计算任务,并将结果返回给驱动程序。转换操作是指对RDD数据集进行转换并返回新的RDD数据集的操作,例如map、filter、flatMap等操作,这些操作不会立即触发计算任务,只有当遇到动作操作时才会触发实际的计算任务。动作操作和转换操作是Spark中非常重要的两类操作,通过这两类操作可以进行数据的处理、分析和计算。


版权声明

本文仅代表作者观点,不代表博信信息网立场。

热门