在人工智能快速发展、数据越来越重要的今天，怎么规范网络爬虫、让数据安全又合规地使用，已经成为数字政府建设的一道必答题。尤其是通过自动化程序收集公开信息，既是数据利用的重要方式，也一直是行业关注的合规焦点。

　　近日，坪山区紧跟前沿步伐，全省率先完成政府门户网站robots协议部署落地，这意味着，坪山区政府网站不仅给爬虫划定了“能爬什么、不能爬什么”的明确边界，更给群众的信息安全筑牢了“防护网”，让大家查信息、办业务更放心、更便捷。

　　robots协议是什么？robots协议也称爬虫协议、爬虫规则，它并不是复杂的程序，而是由网站所有者生成的一个指定配置文件（robots.txt），相当于给网站贴了“访问说明书”，告诉来访爬虫哪些页面可以抓取；哪些页面禁止抓取；哪些页面可以优先爬取。

　　合规友好的爬虫在抓取该网站的网页前，通常会先读取并遵守这份“说明书”，对于禁止抓取的网页不进行下载。

　　robots协议可以解决什么问题？要回答robots协议可以解决什么问题，让我们先看看网上冲浪可能会带来哪些风险。

　　2015年，某社交平台A公司与某职场社交平台B公司终止合作后，B公司非法抓取用户信息，被索赔金额高达千万元；2017年，某海外数据分析C公司擅自爬取某海外职业社交平台D公司公开数据，经算法分析后对外售卖，引发法律纠纷。这些案例看似只与企业相关，实则背后都涉及普通用户的个人信息是否被滥用。

　　从法律层面来说，我国虽然没有直接规定数据财产权，但明确了大量数据处理行为规则，如数据安全、个人信息保护、商业秘密，不管是企业还是其他主体，都必须严格遵守。在合法合规前提下，数据控制主体可依法对数据进行开发、利用与收益，这是受法律保护的正常行为。

　　而部署robots协议，正是从源头规范爬虫行为的关键一步。通过提前明确网站数据的抓取范围、权限和禁止性规定，既能避免非法爬虫违规抓取敏感数据，也给数据抓取行为划好了合法边界。与此同时，针对自动化程序收集公开数据的行为，国内外司法实践已形成一定共识，这也为robots协议的落地实施提供了坚实的合规依据，进一步筑牢数据安全的防线。

　　坪山区robots协议部署与落实守住了大家数据安全的底线，提高了政府网站的运行效率，让大家办事查询更加便捷，真正做到了“安全、合规、便民”三者兼顾，也为坪山区以数字技术赋能政务服务、护航AI产业发展提供坚实有力保障。

　　下一步，坪山区将持续深化政府数据资源开放共享，积极探索人工智能与数字政府融合应用路径，以技术创新赋能政务服务提质增效，为全区产业高质量发展注入数字动能。（转载来源：深圳新闻网）