批量大数据文件筛选与合并工具

        大数据时代，庞大的数据量和筛选提取效率是两大挑战。有过数据分析经验的同事都知道：处理几万以内记录数据可以用Excel；处理几百万以内记录数据可以用数据库（前提是你要懂得SQL语言并且会用数据库处理软件如Access、sql server等）；但是，但当数据量达到成千万甚至上亿的时候，你可以用什么来处理呢？还用数据库吗？告诉你：处理这么大批量的数据数据库也显得力不从心，原因有二：1、耗内存。采用数据库处理数据对硬件配置要求很高，没有足够的内存根本跑不起来，数据库处理速度较快就是因为需要开辟很大的内存空间把数据读进缓存再进行处理，数据量越大对内存要求也越大，因此普通电脑配置最多只能跑百万级别的数据；2、数据导入导出耗时长，导入一千万的数据最少要几分钟，导出也是如此，最麻烦的是当你要处理的数据不是一个文件，而是几十上百个文件时，你要一个个去导入、处理、导出……。基于以上考虑，鄙人在大数据处理方面另辟蹊径，采用C#实现了批量大数据文件的快速筛选与合并，你不需要懂数据库、不需要懂SQL、不需要耗费时间把文件导入导出，只需把所有要筛选处理的数据文件放在一个文件夹（文件格式要求：txt、csv等只要是文本文件格式均可），在操作界面根据自身需要灵活设置筛选条件、输出字段，便可一键快速筛选合并输出，最重要的是整个数据处理过程中基本无需占用内存，所以对硬件配置、文件记录大小无任何限制，一千万记录数据大概只需一分钟即可跑完（普通办公电脑CPU：3GHz，内存：2GB筛选速度可达15万--30万记录每秒）！此外，本人还配套开发“大数据文件拆分”、“多文件条件统计”等大文件大数据处理工具，欢迎有需要和有兴趣的各位前来交流探讨，谢谢！