溫州在線 > 科技 > 網(wǎng)站建設 > 正文
請高手深度分析搜索引擎蜘蛛 解開我心頭的疑團
2010-04-04 16:08?來源 wenzhou1
搜索引擎蜘蛛使勁的在我的網(wǎng)站上爬，本來是一件好事，最近我發(fā)現(xiàn)了雅虎在爬哪個網(wǎng)頁以后，我一直很納悶。因為這是我做的一個靜態(tài)網(wǎng)頁，忘記刪除了。網(wǎng)站導航和目錄里面都沒有指向這個網(wǎng)頁，可是雅虎蜘蛛?yún)s在這個網(wǎng)頁上使勁的爬，有時候每秒爬行十幾次，4月4日的日志我檢查了下，雅虎爬了1400多次，竟然大部分時間在這個單獨頁面上，這樣子的爬行對服務器的壓力會很大。對網(wǎng)站收錄又沒有什么幫助，因為這個頁面沒有什么特別的內容，最近我在這個頁面上加了很多文本內容。但是即使這樣，一個搜索引擎只關注我網(wǎng)站的一個內頁，總不是什么好現(xiàn)象，請高手深度分析下，這是什么原因引起的，會帶來什么壞的后果，以待我更好的改進。
這個頁面的地址：http://www.wenzhousx.com/seo/seo.html
我做了一個和這個一樣的頁面，蜘蛛?yún)s不來爬
http://m.lzymwhcb.com/seo/這兩個頁面一樣的原因是我剛做的時候，路徑問題沒有搞對，所以，把那個文件夾里的seo.html的文件忘了刪除，現(xiàn)在蜘蛛這么狠命的爬，我都不敢刪除這個文件了，刪了我怕給我一串的404
蜘蛛爬行統(tǒng)計：
蜘蛛爬行統(tǒng)計
雅虎記錄
編輯： 溫州視線
- 熱門內容
- 網(wǎng)友熱議
- 精彩內容
官方否認4G降速 5G來了
2018十大網(wǎng)絡用語盤點
人人網(wǎng)被賣了
部分相似結果已經(jīng)被
我經(jīng)常登錄的幾個S
dedecms圖集縮略圖功能
提交Alexa網(wǎng)站登錄入口
不良買家利用淘寶商
解決織夢dede所有版本