专利名称:基于Docker的Web数据采集方法、Web服务器及Web数据采集系统
公开(公告)号:CN106534259A
公开(公告)日:2017-03-22
申请(专利权)人:山东大学
发明(设计)人:边俊峰,钱进,闵新平,郭伟,崔立真
法律状态:审中-实质审查
摘要:本发明公开了一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统,其中Web数据采集方法在Web服务器内完成,包括基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
资源类型:专利
TOP