對于網站架構，可能沒有多少人會有意識，首先我們來看一下網站的一些基礎知識，我們在做網站架構的時候，應該考慮哪些因素，來提高蜘蛛的體驗呢？首先是建立架構的網站地圖，還要根據(jù)網站的自身特點來對網站的頻道或者頁面地址進行優(yōu)化，除此之外，是不是還要積極的更新網站的內容。網站地圖首先是一個網頁，這個網頁主要是描述它所在網站的架構布局，訪問者可以通過它陳列的網站內部分類鏈接快速找到自己所需要的信息。
建立網站地圖的主要性：網站地圖對大型網站很有需要，因為搜索引擎蜘蛛順著網站鏈接爬行的深度一般不會超過三級，而大型的網站鏈接深度一般會在三級以上�；�于網站地圖的非凡性質，一旦搜索引擎收錄了一個網站的網站地圖，那么搜索引擎蜘蛛程序就可以通過這個網頁更好地來了解整個網站的架構布局，它可以順著網站地圖提供的內部鏈接來搜尋其他網頁。一個網站假如被搜索引擎收錄的頁面數(shù)越多，那么訪問者通過搜索引擎查找到該網站的范圍就越大，這是很有助于增添網站的流量的。因為大型網站信息量比較大，無論出發(fā)點是針對搜索引擎照舊網站訪問用戶，作個網站地圖是很理智的。
還有，對于“人”這個用戶來說，index頁就是網站的首頁，而對于“蜘蛛”這個用戶來說，網站地圖sitemap頁就是它的首頁。假如創(chuàng)建一個網站地圖？思域推薦大家一個快速的方法：快速創(chuàng)建網站地圖。網站地圖不要出現(xiàn)太多的鏈接，控制在100個鏈接以內，因為蜘蛛也是用戶，它也會耍脾氣，弄太多鏈接它反而抓不到重點。網站地圖要實用，不要太花哨，花太多時間在美工上，把網站地圖弄得五顏六色，沒有需要。網站地圖是純文本的內容，這樣訪問速度比較快，另外蜘蛛對文字鏈接比較喜好，這里就不贊成采用圖片或者FLASH來制作網站地圖了，尤其是FLASH！只要我們熟悉了就知道，蜘蛛要比人好對付，人看頁面，蜘蛛看代碼，如何增強這兩個用戶的體驗，要分開來考慮。