WAP手机版 RSS订阅 加入收藏  设为首页
澳博投注网
当前位置:首页 > 澳博投注网

澳博投注网:一些公司或个人试图使网络爬虫突破道德规则和技术障碍

时间:2021/3/20 10:14:32   作者:   来源:   阅读:66   评论:0
内容摘要:网络的本质和价值在于连接,其核心是实现数据的流动和共享。网络爬虫作为一种数据捕获的技术工具,通过爬行增强了网络节点之间的连接,提升了网络的整体价值。它是构建互联网开放共享理念的重要技术基石。但网络爬虫所做的并不总是鲜花和掌声,特别是当涉及到隐私和网络安全。因此,为了规范爬虫,维护网络秩序,“robots.txt协议”于...

网络的本质和价值在于连接,其核心是实现数据的流动和共享。网络爬虫作为一种数据捕获的技术工具,通过爬行增强了网络节点之间的连接,提升了网络的整体价值。它是构建互联网开放共享理念的重要技术基石。但网络爬虫所做的并不总是鲜花和掌声,特别是当涉及到隐私和网络安全。因此,为了规范爬虫,维护网络秩序,“robots.txt协议”于1994年诞生。虽然该协议只是一个“绅士协议”,但它已逐渐被视为网络爬虫技术应用的公认行业标准,并已成为一种评判标准。爬行行为是否被网站允许的主要依据。在2014年百度公司诉奇虎360违反《机器人协议》一案中,法院认为被告未遵守原告网站上的《机器人协议》,其行为明显不当,应承担相应的不良后果。

技术本身是一个中立的工具。善与恶、合法与非法的关键,在于使用者的选择。最初通过机器人协议,一方获得了数据和信息,另一方增加了流量和关注度,大家都很开心。然而,机器人协议可以阻止“绅士”,但很难阻止“小人”。一些爬虫程序不遵守规则,随意抓取他人不愿意共享的数据和信息,大量挤压服务器资源,将它们变成“网络害虫”。例如,近年来,一些大数据风控公司为了谋取经济利益,利用爬虫技术在互联网上非法收集用户个人信息并转售给第三方。

web爬虫设计的初衷是利用计算机技术自动编制网站索引,更新信息,为用户提供高效的检索服务。它有三个基本功能:访问、下载和分析(分析和过滤数据)。目前,爬行动物作恶主要是通过异化前两种功能,具体表现为三种作恶方式。

一种是恶意获取未经授权的数据。对数据的访问是“网络爬虫”的起点,也是其价值的来源。出于经济利益或其他特殊目的,一些公司或个人试图使网络爬虫突破道德规则和技术障碍(网站“反爬虫”措施),并爬行未来。已授权或超出授权范围的数据。


相关评论

本类更新

本类推荐

本类排行

本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!
所有信息均来自:百度一下(澳博集团官网娱乐