风车通用Web采集程序在线版 V1.5.4OS:2003/XP/Win2000/NT/Win9xLicense:试用软件 Size:405 K Evaluation: Uudate:2008-3-8 Downloads: 0 风车通用Web采集程序在线版 V1.5.4 Description:
感谢您选用风车通用WEB采集系统! 功能特点: ****************************************** 1、采用asp.net开发,运行于IIS下。 2、可根据入库设置,自动挂接到现有的网站系统,与现有系统实现无缝集成,补充或替换现有系统的采集程序。 3、采集调度,即计划任务,可为每个采集规则设定时间定时重复采集,多个采集任务可同时运行,到了设定时间采集程序在Web服务器后台自动执行,真正实现了无须人工干预的自动更新。 4、可自动归类,对采集的信息实现自动分类,当目标分类不存在时可自动创建该分类,也可通过分类映射将目标分类与当前网站内容分类进行合并。无需为每个类别建立一个采集任务。 5、采集规则设定简单易懂,程序具有2种运行方式,前台运行或后台定时运行。 6、可实现多级网页深度的采集,比如内容分页、部分信息在另外的页面、小说连载等类型的有主从表关联的信息采集。 7、独创的断点续采,目标网站有更新,采集程序才进行采集,仅采集更新的部分,效率高。 此功能对采集连载性质的网站特别有用,比如连载小说、连续剧等。 8、自动下载相关的外部文件到本地服务器或替换为远程路径,比如图片、FLASH、下载文件等,无需再手工上传到服务器。 9、支持采集模型的定义,可根据需要定义任意要采集的数据项,每个模型还可包含子模型。 10、自动识别绝大多数采集站的网页编码。比如常见的:GB2312,GBK,UTF-8,windows-1252,iso646-us等。 11、支持从列表页采集缩略图及其他附加信息。 12、多线程异步采集,采集效率高,占用服务器资源较低。 安装及使用说明请参见”使用说明“文件。 版本修改历史: ****************************************** v1.5.4 改善:修改了采集网址队列数超过5000,自动重启时无法停止的问题 2008-2-29 改善:采集项高级过滤设置中,可进行替换。格式为在原过滤规则后加入\"[to]\" 2008-2-29 增加:增加了采集时间间隔的设置,避免给采集站服务器带来较大压力 增加:增加了采集网址需要登陆验证的情况,需设置登陆及验证地址 2008-3-1 增加:列表JS提交方式(Post)分页。使用方法:在提交地址上追加参数\"?fc_action=post&参数1={$pageid}\",如果提交页已包含\"?\",则为:\"&fc_action=post&参数1={$pageid}\" 2008-3-1 v1.5.3.41751 增加:对动态网页地址包含中文参数的编码处理 改善:修正了.net2.0环境下的安装运行问题 增加:增加了图片文字水印功能 增加:在线自动升级更新功能 改善:修正文件已存在,但大小为0时不重新下载的问题 增加:运行状态中删除采集历史成功的提示 改善:当入库接口配置不正确时查看采集结果报错的问题 改善:修正了内容分页时数据不能入库的问题 2008-2-19 改善:修正页面中包含重复相同图片的下载问题 2008-2-19 增加:增加了每个内容项规则的高级过滤设置 2008-2-20 v1.5.2 修正替换的BUG,增加可选一般替换和正则替换,正则替换时以\\\\\\\\\\\\\\\"r:\\\\\\\\\\\\\\\"开始 增加每次采集前自动清空采集历史 增加选项自动入库/手工入库,采集数据先保存到临时库,手工入库可以批量选择要入库的数据。 增加系统设置、用户登陆功能 增加采集任务的导入导出 v1.2更新记录 增加入库规则中创建分类的自定义SQL语句模板,支持多条SQL同时执行后返回结果 增加了MySql类型数据库的入库 修改了Sql Server类型数据库的入库BUG 增加了对采集数据结果进行处理的插件功能(可以自定义C#代码),内置maxz电影程序FLV采集处理插件 增加了字段链接规则中链接的手工指定,与自定义采集字段组合 增加了字段链接规则中指定下级页面规则,用“|||”分隔 修改了下载文件时,文件已存在时的路径处理问题 增加了自动保存采集历史功能,解决采集异常中断后采集历史丢失的问题 修正了下载文件时引用页的问题 增加了对不同页面的字段多个采集匹配规则,以\\\\\\\\\\\\\\\"||\\\\\\\\\\\\\\\"分开,如果第一个条件没匹配到,就依据第二个条件...适用于目标站多个分类使用不同模版的情况 增加了采集分页或跨页列表时,获取链接的同时,可以获取每个链接的附加数据,以\\\\\\\\\\\\\\\"&&\\\\\\\\\\\\\\\"分开,以便于在自定义代码中进行特殊处理。 增加自定义采集模型功能,采集的时候先保存到临时数据库 修改数据访问层连接池的一个BUG ***************************************** 有这方面需要的朋友,或者你对本程序有什么疑问,可以与我联系。QQ:6326378(验证时请注明“采集”) e-mail:achely at gmail.com 或到:http://www.fengchesoft.cn/bbs/index.asp?boardid=1讨论。 |
Related Software Download of Class
Related Software New Downloads
|
*In order to achieve the fastest download speeds, recommended FlashGet Download software. |