一般,搜索引擎的蜘蛛是顺着网页进行爬行的。这样,能够有效的抓取所有的新内容。对于网站的框架结构,也会进行相应的抓取。
1、页面内容。网站内容的添加,是以页面的形式呈现的。而不是像图片的那种轮换,而是类似于叠加的形式。因此,页面会不断的增添。而网站的主页,相应的会调用出新的内容。这样,会被蜘蛛捕捉。但具体的内容,是需要进入到页面中抓取;
2、页面框架。这点,也是尤为性重要的。很多重要的信息内容,都是需要通过详细的页面版块所展现。因此,页面的布局性,也会被爬行。若总是出现胡同,是十分不利的方面