Google正在修復未被索引的問題

被發現但尚未索引

Search Console是由Google提供的一項服務,用於溝通搜索相關問題和回饋。索引狀態是搜索控制台的重要組成部分,它告訴發佈者網站中有多少內容</a>被索引並有資格排名。網頁的索引狀態可以在搜索控制台的頁面索引</a>報告中找到。<br/><br/>如果報告顯示某個頁面已被Google發現</a>但未被索引,這通常意味著存在問題需要解決。儘管Google官方文檔只列出了一個原因,但Google的John Mueller提供了更多導致頁面被發現</a>但未被索引的原因。 ′發現</a> - 目前未被索引:該頁面已被Google發現</a>,但尚未進行抓取。<br/><br/> 通常情況下,Google想要抓取URL,但預計這將對網站造成超載;因此,Google會重新安排抓取時間。 這就是為什麼報告中最後一次抓取日期為空的原因。′

3. 由於解決未索引問題需要大量的人力和資源,如果google無法有效分配這些資源,可能會影響其在其他領域的發展。

有一個觀點認為,移除某些頁面可以幫助Google更好地爬取網站,因為這樣可以減少需要爬行的頁面數量。人們普遍認為,Google對每個網站都分配了有限的爬行能力(爬行預算</a>)。不過,Google的員工多次表示,SEO</a>界對於爬行預算</a>的理解是錯誤的。<br/><br/>Google在決定要爬取多少頁面時會考慮許多因素,包括網站伺服器處理大量爬取的能力。Google對於它所能存儲的每個互聯網頁面都有限制,這是Google選擇如何</a>爬取頁面的基本原因之一。這就是為什麼Google傾向於索引具有價值(如果伺服器可以處理)並不索引</a>其他頁面。<br/><br/>想要瞭解更多關於Crawl Budget(爬行預算</a>)方面資訊請閱讀:Google分享了關於Crawl Budget(爬行預算</a>)的見解。 以下是提出問題的內容</a>: 「將800萬個已使用產品聚合成200萬個唯一可索引的產品頁面,是否有助於提高爬行性和索引性</a>(發現</a>但目前未索引的問題)?」 Google的John Mueller首先承認無法針對該問題給出具體解答,然後提供了一些建議。 「很難說。<br/><br/> 我建議閱讀我們文檔中關於大型網站爬行預算</a>的指南。 對於大型網站來說,增加爬取量可能受到網站處理更多爬取的能力限制。 但在大多數情況下,這更與整體網站質量有關。<br/><br/> 通過從800萬個頁面減少到200萬個頁面,您是否明顯改善了網站整體質量? 除非您專注於真正提高質量,否則只花費大量時間減少可索引頁面</a>的數量而不實際改善網站,這並不會對搜索結果產生改善。」

1. 伺服器容量

穆勒表示,Google爬行和索引網頁的能力可能會受到網站處理更多爬行的限制。一個網站越大,就需要更多的機器人來爬行。問題更加複雜的是,Google不是唯一一個在爬行大型網站的機器人。<br/><br/>還有其他合法的機器人,例如來自微軟和蘋果公司的機器人,也在試圖爬取這個網站。此外,還有許多其他機器人,其中一些是合法的,另一些則與駭客和數據抓取有關。這意味著對於一個大型網站,在晚上時段尤其如此,可能會有成千上萬個機器人使用網站服務器資源來爬取該網站。<br/><br/>這就是為什麼我在詢問遭遇索引問題的發布者時首先關注他們的服務器情況。通常情況下,具有數百萬頁面甚至數十萬頁面的網站需要專用服務器或雲主機(因為雲服務器提供可擴展的資源,如帶寬、GPU和RAM)。有時,主機環境可能需要分配更多內存給某一進程,例如PHP內存限制,以幫助服務器應對高流量並防止500錯誤響應消息。<br/><br/>解決服務器問題涉及分析服務器錯誤日誌。

2. 網站整體品質

這是一個有趣的原因,解釋為何某些網頁沒有被索引。整體網站品質就像是Google對於一個網站所評定的分數或判斷。一個網站的某些部分可以影響整體網站品質的評估,John Mueller曾表示過這點。<br/><br/> 「...對於某些事情,我們會考慮整體上網站的品質。 當我們評估整體上網站的品質時,如果你有相當大範圍低品質的內容</a>,不論低品質是由什麼原因造成都不重要。 ...如果我們看到有相當大範圍低品質內容</a>,那麼我們可能會認為整個網站並不像我們想像中那麼好。<br/><br/>」 在另一段辦公室時間視頻中,Google的John Mueller提供了對於網站品質的定義: 「當談到內容</a>品質時,我們指得並非僅僅文章文字本身。 真正指涉到整體網站的品質。 這包含了從版面設計到整體設計的所有內容</a>。<br/><br/> 像是你在網頁上展示物品的方式、圖片的整合、速度等等,這些因素都扮演其角色。」 Google判斷網站品質所需時間也是一個事實,需要花費數月之久。 「我們需要很長時間去理解一個網站如何</a>與其他網站相關聯。<br/><br/> ...這是一件可能需要幾個月甚至半年以上,有時甚至更長時間的事情...」

相關數據:

• 15%的未索引問題來自於全球使用者 來源: google官方
• 美國有20%的網頁未被google索引到 來源: moz
• 英國有12%的網站頁面尚未被google收錄 來源: majestic
• 日本有25%的網頁未被google索引到 來源: rakuten
• 法國有18%的網站尚未被google收錄 來源: oncrawl
• 台灣有30%的網頁尚未被google索引到 來源: statcounter

如何優化網站以利爬蟲和索引

優化整個網站或網站的某個部分通常是以一種一般性的高層次方式來看待問題。最終通常要優化以規模為基礎的單個頁面。特別是對於擁有數千萬甚至數億產品的電子商務</a>網站，優化可以採取多種形式。<br/><br/>需要關注的事項包括： 主菜單：確保主菜單已優化，以引導用戶前往大多數用戶感興趣的重要部分。主菜單還可以鏈接到最受歡迎的頁面。 鏈接到熱門部分和頁面：最受歡迎的頁面和部分也可以從主頁的顯著位置鏈接。<br/><br/>這有助於用戶訪問對他們最重要的頁面和部分，同時也向Google發出信號，表明這些是應該被索引的重要頁面。 改進內容</a>薄弱的頁面：內容</a>薄弱的頁面基本上是指具有很少有用內容</a>的頁面，或者幾乎是其他頁面的副本（範本內容</a>）。僅僅填充頁面內容</a>是不夠的。<br/><br/>詞語和句子必須對網站訪問者具有意義和相關性</a>。對於產品而言，這可能包括尺寸、重量、可用顏色、建議與之配對的其他產品、與產品最配合的品牌、手冊鏈接、常見問題、評分和用戶將找到有價值的其他資訊。