→｜前两天刚知道用爬虫抓取page有个协议的问题，尤其是对于opensource的爬虫，刚看到一篇blog，写的就是如此，难怪之前看google的robots也和另外一个U.S.的网站相同，感情是大家都商量好了，可能这方面中国的一些站点这种意识要稍微淡一点。。。同…〔11-28〕
来源：Java心路作者：NC_Editor｜点击收藏
→｜META标签是HTML语言HEAD区的一个辅助性标签，它位于HTML文档头部的HEAD标记和TITLE标记之间，它提供用户不可见的信息。meta标签通常用来为搜索引擎robots定义页面主题，或者是定义用户浏览器上的cookie；它可以用于鉴别…〔08-15〕
来源：互联网作者：佚名｜点击收藏
