在分析网站结构之前，我们要大概理解搜索引擎蜘蛛的模仿真实浏览的抓取算法。该算法是逐步执行预先设计的抓取策略，因此良好的网站结构具有引导、分配权重和提高抓取效率的功能。只有内部框架建成后，内容的布局才能有序，蜘蛛才能有序地爬行。
应预先考虑的问题：
蜘蛛是否进行逻辑全站抓取
蜘蛛是否能区分页面重要性
蜘蛛是否可以提取页面的关键词
一。逻辑上整个站点都在爬行。
网站结构优化
Web站点的物理结构是内容聚合目录的结构和文件的位置。目前的主流方法是网站的扁平化设计，即并行结构。
链接结构优化
两种蜘蛛没有得到页面：网站本身不想被收录；没有链接到页面，也就是说分页。对于主页不推荐的页面，可以添加到链中。合理的内链是一个完整有序的交通系统，而蜘蛛则是前进与前进的载体。社会化、绘画文本、设置链接入口等。
域结构的优化
主要是两级域名和二级目录的选择策略。没有绝对的好或坏，如一个小系列。公司网站是两级域名网站结构改变二级目录，正好适应当前发展网络的核心：打造企业品牌。因此，根据自身特点选择合理的域策略。
二。重要性的支配
对于搜索引擎，哪一页被认为是“更重要的”？有这样一句话：每一个环节都是投票，这意味着页面上的所有链接都是投票。在搜索引擎中，获取更多的内部投票网页是比较重要的。
三，网页的标签：关键词
搜索引擎即标题从TDK，分析了网页的第一个内容，描述和关键词，H标签、ALT标签，最后关键词的出现频率，即。页面的“标签”是从三度关联定义的，也就是页面被捕获时定义的关键字。
