简述Spark有了RDD，为什么还要有Dataform和DataSet ？

Spark在拥有RDD（Resilient Distributed Dataset，弹性分布式数据集）的基础上，引入DataFrame和DataSet是为了更好地满足不同场景下的数据处理需求，提高数据处理效率和灵活性。

RDD是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面元素可并行计算的集合。RDD将Spark的底层细节隐藏起来，让开发者可以像操作本地集合一样以函数式编程的方式操作分布式数据集。然而，RDD在处理结构化数据时存在一些局限性，例如缺乏类型安全、不易于进行高层次的数据抽象等。

DataFrame的引入是为了更好地处理结构化数据。与RDD不同，DataFrame中的数据被组织到有名字的列中，就像关系型数据库中的表一样。这使得对大型数据集的处理变得更简单，开发者可以为分布式的数据集指定一个模式，进行更高层次的抽象。DataFrame提供了特定领域内专用的API来处理分布式数据，使得更多的人可以更方便地使用Spark，而不仅限于专业的数据工程师。

而DataSet是DataFrame的扩展，它提供了类型安全，面向对象的编程接口。DataSet允许开发者定义数据的模式，并在编译时进行检查，从而提高了代码的安全性和可维护性。此外，DataSet还支持Lambda表达式和复杂的转换操作，使得数据处理更加灵活和高效。

综上所述，Spark引入DataFrame和DataSet是为了弥补RDD在处理结构化数据时的不足，提供更高效、更灵活的数据处理方式。在实际项目中，根据具体的数据处理需求和场景，可以灵活选择使用RDD、DataFrame或DataSet来构建数据处理流程。