有熟 Spark 大佬么？ Spark 分析逻辑怎么验证正确性？
leeg810312 · 2019-04-26 20:32:14 +08:00 via Android · 3871 次点击这是一个创建于 2042 天前的主题，其中的信息可能已经有所发展或是发生改变。
第一次做大数据项目，用 Spark 写分析代码，现在客户要我们证明运算逻辑没有问题，海量数据要怎么验证啊？
 |
1
yangxin0 2019-04-26 21:43:34 +08:00
设计一个 FakeSpark 主要用作测试, 基于每个 action 做单元测试, 标记好输入和输出.
|
|
2
yangxin0 2019-04-26 21:45:02 +08:00
话说, 你设计的时候没有考虑到测试么?
|
 |
3
leeg810312 OP @yangxin0 第一次做 Spark，用 Scala 写的，FakeSpark 的意思是做一个工具生成测试数据吗？另外一般单元测试是不能有外部依赖的，那么 Spark 的单元测试是要将所有的测试数据硬编码在单元测试代码里吗？
|
Select Language