美国国家税务局的故事
时间：2022-04-19 12:18:01 | 来源：行业动态
时间：2022-04-19 12:18:01 来源：行业动态
我们知道Spark大数据分析软件更多是运行在CPU上面，但是随着数据类型的多样化以及数据量的激增，通过引入GPU能够加速数据分析进程。
作为一名数据科学家，Deborah Tylor的任务是整理美国国家税务局超过300TB的数据库，寻找可能有助于识别身份盗窃和其他欺诈行为的规律。但即使她让一大批CPU服务器工作了一整夜，也无法完成这项数据整理工作。
后来通过Cloudera工程师的介绍，美国国税局团队对CDP软件进行快速测试后，在没有修改任何代码的情况下，Tylor在这项工作中的许多步骤就立即加快了5倍，但有几个部分仍然滞后。
后来Cloudera工程师请来了NVIDIA数据科学家团队检查代码的核心内容。他们很快发现一些非常糟糕的数据结构任务仍在CPU上运行。于是他们编写了代码处理这些任务并将其插入Spark的RAPIDS软件接口中。
RAPIDS是一个在GPU上运行数据分析的开放资源库。NVIDIA和Cloudera通过深入合作，使数据团队能够使用RAPIDS AI无需更改任何代码即可大大加快数据工程和数据科学工作负载的计算流程。Cloudera Data Platform上的RAPIDS预先配置了所有必需的库和依赖项，以将RAPIDS的功能带到相关项目中。
结果，Tylor又进行了一次测试，发现一切都能在分布式Spark集群的GPU上顺利运行，而且速度提升非常明显。她在一个四节点的集群上运行了整个程序。
最终，Cloudera和NVIDIA的技术整合使得美国国税局的数据工程和数据科学工作流程以一半的成本获得了超过10倍的速度提升。
接下来，该团队计划把其成功经验运用在数据准备，也就是数据分析中的ETL方面的工作上面，下一步重大计划是加速各类AI推理工作。
在线咨询
