网络矿工数据采集软件 1.8OS:Win 7/Vista/2003/XP/Win2000/NTLicense:试用软件 Size:1.42 M Evaluation: Uudate:2010-6-4 Downloads: 0 网络矿工数据采集软件 1.8 Description:
网络矿工数据采集软件【Sominer】是一套面向专业采集用户的采集软件,其基于Soukey采摘数据采集软件 研发,在其基础上扩展了更加丰富的专业功能,不仅可以进一步满足采集用户的需求,同时也扩展了采集应用范围。同时【一孑工作室】也为网络矿工 数据采集软件提供了专业的技术支持及售后服务。【一孑工作室】将最大化的保障您的软件使用利益。需Microsoft .NetFramework2.0环境。 网络矿工数据采集软件按照用户数许可授权。主要功能如下: 1、多任务、多线程,支持一个任务运行多个实例; 2、支持图片、Flash及文件下载;下载并不支持多线程处理,所以,也不建议采用此软件建立专业的下载任务; 3、网址配置支持参数定制,及外部字典参数;通过字典方式可扩展自定义的参数值; 4、支持Cookie、POST采集;可记录Cookie,采集需要登录的网站数据,也可通过手工登录进行采集; 5、支持导航、自动翻页;可进行网址导航,譬如:通过新闻列表采集新闻内容;支持多层导航; 6、可采集Ajax数据; 7、采集数据临时存储、断点续采;临时存储数据格式为XML; 8、支持数据导出,文件、数据库;数据库支持Access、MS Sql Server、MySql,文件支持文本文件和Excel;数据导出支持手工和自动,手工导出仅支持文件形式 ; 9 、在线数据发布;支持在线数据发布,数据发布支持Cookie; 10、数据采集支持采集数据加工;可对采集数据进行字符串替换、截取、附加等操作,可自动去除网页符号,支持正则; 11、支持任务计划;可定时执行任务,最小间隔为:0.5小时; 12、支持任务触发器;可触发Soukey采摘任务、数据库存储过程及可执行文件,支持采集完成及发布完成触发; 13、提供网址编/解码工具;支持UTF-8、GB2312、GBK、Big5; 14、提供Mini浏览器;可用于Cookie及POST数据的捕获; 15、支持中文简体; 16、直接入库;可将采集的数据直接存入数据库,利用此种方式,系统可采集成百上千万条数据,而不影响系统性能。数据库支持Access、MS Sqlserver及MySql。 17、采集数据输出数据多种规则加工;对采集数据可实现多种数据加工规则的应用,通过此方法,可以更加灵活的采集到需要的数据内容。譬如:采集到文章之后 ,可以通过去除网页标识,去除原有文章格式,再通过字符串替换,可以重点显示您需要显示的关键字或文章段落。此过程一次性完成,无需再进行后期数据加工 。 18、提供数据加工模块;可对采集数据灵活的进行数据修改,调整表结构,然后再进行数据发布操作。同时还可利用此功能实现外部数据的加工及发布操作。 19、支持导航层分页;利用此功能可以按照简化采集任务的配置,甚至可以通过一个入口地址采集所有的信息内容。 20、支持采集数据网址的自动输出;可作为内容引用、错误查找使用; 21、支持任务计划输出到同一个采集文件;可应用为数据递增采集; 22、支持数据合并;可应用于分页文章采集,并自动合并成一篇文章的采集形式; 23、提供采集规则分析器;;通过采集规则分析器,可方便的查看采集规则配置的正确性; 24、支持代理服务器;当前仅支持HTTP代理; 25、增加导航提取范围; 26、增加自定义导航规则处理;大部分导航都是由可识别的Url进行的,但也存在特殊情况,譬如:是由提交表单来完成,针对此种情况采用此功能可实现对导航规 则的处理; |
Related Software Download of Class
Related Software New Downloads
|
*In order to achieve the fastest download speeds, recommended FlashGet Download software. |