Dask通过pandas或NumPy的分片实现数据切分，但要避免不必要的重复计算，例如，解析Amount列后将其持久化，减少后续的重复处理。数据分片带来的并行查询优势显著，但跨节点的数据传输成本不可忽视，需明智地选择何时进行持久化。
Python 数据分析 掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。
检查数据表 Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用info函数查看数据表的整体信息，使用dtypes函数来返回数据格式。
用Python进行数据分析之前，你需要从Continuum.io下载Anaconda。这个包有着在Python中研究数据科学时你可能需要的一切东西。它的缺点是下载和更新都是以一个单元进行的，所以更新单个库很耗时。但这很值得，毕竟它给了你所需的所有工具，所以你不需要纠结。
作用如下：可以从事数据分析工作：python所拥有完整的生态环境，非常适合进行数据分析处理工作，比如，“大数据”分析所需要的分布式计算、数据可视化、数据库操作等，都可以通过python中的模块来完成。
代码少。Python减少了执行函数时通常使用的代码数量，它着重于简化代码并使其易于阅读。除此之外，还有许多基于AI和ML的复杂算法，Python与AI的结合将大大减少开发人员必须处理的代码数量。灵活性高。
一定的情况证明，Python是一门非常适合初学者学习的编程语言，对零基础人员十分友好，即便是没有任何基础也可以学习Python语言，同时Python还是人工智能、数据分析、大数据时代的首选语言；Python之所以说是全栈开发语言，主要就是因为涉及领域广泛，从业岗位多，就业机会高。
可以学python但不必须Python语言除了在IT互联网行业有大量的应用之外，在传统行业领域的应用也非常广泛，比如金融、医药、教育等领域，所以如果掌握Python语言，也会在一定程度上拓展自身的就业面；总之，就大数据技术而言，Java在PaaS和SaaS层都有非常多的实践和应用，如果你有Java基础，可以继续学好Java。
软件开发：用python做软件是很多人正在从事的工作，不管是B/S软件，还是C/S软件，都能做。
