网络矿工
数据采集系统是一款集互联网数据采集、编辑、存储、发布为一体的专业
数据采集器,即适用于简单化配置操作,也适应针对复杂数据采集的能力,所见即可采。网络矿工数据采集器独有的代理轮询采集机制,可有效的解决网站屏蔽问题,同时还提供了网络雷达功能,可用于互联网数据动态监控。
网络矿工数据采集器支持多任务、多线程、代理IP 等策略,可以高效的采集各类网页数据、及下载各类文件,同时还提供了数据加工工具,可以在数据采集的同时就可完成数据加工操作,提升最终数据呈现的质量,网络矿工数据采集软件支持各类常用的数据库,包括MS SqlServer、MySql及Access,同时还支持web方式进行数据提交。网络矿工数据采集器具备强大的采集能力,实现了可视化、智能化的规则配置,免去了传统规则配置的烦恼。围绕网站数据采集提供了丰富的功能,虽然功能众多,但使用却不复杂,上手很容易。
【网络矿工数据采集系统的功能】
1、数据采集:以数据采集为核心提供了导航、多页、代理采集、跨层采集、文件下载、编码解码、参数配置等功能,确保在数据采集时可应对各种复杂的采集配置需求;
2、强大的采集能力:支持各种编码、压缩采集,可实现U码转换、HTML代码转换,支持cookie、自定义HTTP Header,支持代理轮询、采集延时等多种设置,支持各种排重,具备断点续采能力;
3、可视化及智能:全面支持可视化配置,从导航、翻页及数据采集规则,都支持可视化的配置;
4、数据加工:提供了各种字符串的加工方式,可边采集边进行数据加工,同时也提供了专用的数据加工工具,可进行数据表合并、创建列、数据格式化等多种方式,最终可获取到高质量的数据信息;提供OCR识别能力,图片水印功能;
5、数据发布:数据可发布到数据库(Access、mssqlserver、MySql),也可直接发布数据到网站,同时还提供了直接入库的模式,适应采集海量数据;
6、多种工具:数据加工发布工具、日志工具、HTTP嗅探器、编解码助手、正则分析器、配置助手,全面辅助您完成配置工作;
7、插件支持:支持。net插件,用户可基于接口扩展自己个性化的功能,网络矿工提供了cookie获取、数据加工及数据发布的接口操作;
8、其他:支持灵活的定时采集策略、数据监控、静默运行等多种附加功能,不仅可以方便用户的采集工作,也从数据采集实用角度大大丰富的软件的功能应用;当前版本为免费版本,可放心使用,部分功能在免费版本中会有限制!
【网络矿工数据采集系统的特色】
能见就能采
采集效率极高
独有代理轮询采集
强大的数据清洗
静默运行机制
动态数据监控
多数据源管理
轻松发布
灵活的采集计划
插件扩展