般来说,阻止搜索引擎收录也可能成为个SEO问题,尽量让搜索引擎抓取和索引更多内容是SEO们经常头疼的个问题,没有收录、索引无从谈排名。尤其对达到定规模的网站来说,使上海seo的网站充分收录是个颇令人费神的SEO技术,当页面达到比如说几十万,无论网站架构怎么设计、多么优化,100%收录都是不可能的,只能尽量提高收录率。
但有时候怎么阻止搜索引擎收录也可能成为个问题,近越来越成为问题。需要阻止收录的情况如保密信息、复制内容、广告链接等。过去常用的阻止收录方法包括密码保护、把内容放在表格后面、使用JS/Ajax、使用Flash等。
使用FlashGoogle几年前开始尝试抓取Flash内容了,简单文字性内容已经能抓取。Flash里面的链接也能被跟踪。表格Google蜘蛛也能填表,也能抓取POST请求页面。这个早能从日志中看到。
JS/Ajax使用JS链接直以来被当作不搜索引擎友好的方法,因此可以阻止蜘蛛爬行,但两三年前我看到JS链接不能阻止Google蜘蛛抓取,不仅JS中出现的URL会被爬,简单的JS还能被执行找到更多URL.