Python是如何判断大数据唯一性的呢

2025-03-10 16:04:52
推荐回答(1个)
回答1:

有些办法。比如使用array, numpy.array。 主要的思路是节约内存的使用,同时提高数据查询的效率。 如果能够注意这些内容,处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按mapreduce的思路。数据尽量在本地处理。所以算法上要优化