python处理大数据的能力如何?

优逸客小编来回答这个问题：

Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。python是解释性语言，但是它跟php，htm，Javascript一样在浏览器运行的还是像c，常见的一种应用情形是，使用Python快速生成程序的原型(有时甚至是程序的最终界面)，然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。

Python用来做轻量级的比较方便和高效，大数据不是很合适。百万级别数据是小数据，python处理起来不成问题。python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。

Python处理数据的优点：

1.异常快捷的开发速度，代码量巨少

2.丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便

3.内部类型使用成本巨低，不需要额外怎么操作(java，c++用个map都很费劲)

4.公司中，很大量的数据处理工作工作是不需要面对非常大的数据的

5.巨大的数据不是语言所能解决的，需要处理数据的框架(hadoop，mpi。)虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持pytho

6.编码问题处理起来方便。

Python处理数据的缺点：

1.python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用(例如大dict)，多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦

2.python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy(一个jit的python解释器，可以理解成脚本语言加速执行的东西)能够提高很大的速度，但是pypy不支持很多python经典的包。

最近比较流行的方法是使用cython，一方面可以略略提高速度，另一方面与C有无缝的接口。

java在处理大数据方面速度与易用性略略占优势。C++也经常会使用在核心算法上。语言本身都不是问题。大部分时候大数据还是在处理算法本身而不是语言。

在原型阶段python很方便，快速，灵活。所以大数据处理中python是几种语言中最适合的。特别是早期探索阶段。业务与算法经常变更。到了后期基本上都是C++了。java比较适合工程化阶段。

至于python处理大数据的能力如何?需要看你的数据量是多少，如果在百万级左右，python处理起来是非常优秀的。