谷歌搜索引擎抓取網(wǎng)頁的原理跟注意事項(xiàng)
發(fā)布時(shí)間：2022-01-29 點(diǎn)擊：425
一、抓?。篻oogle搜索引擎可以找到您的網(wǎng)站嗎?
首先您可以使用 “site: yourdomain.com”(一種google搜索運(yùn)算符)來查看google為您的網(wǎng)站編制了多少頁面和哪些頁面。
前往google并在搜索欄中輸入“site：yourdomain.com”。這將返回google在其指定網(wǎng)站的索引中的結(jié)果：
google顯示的結(jié)果數(shù)量并不準(zhǔn)確，但它確實(shí)可以讓您充分了解在您的網(wǎng)站上編制索引的網(wǎng)頁以及它們當(dāng)前在搜索結(jié)果中的顯示方式。
要獲得更準(zhǔn)確的結(jié)果，請(qǐng)?jiān)趃oogle search console中監(jiān)控并使用“索引覆蓋率”報(bào)告。 如果您目前沒有g(shù)oogle帳戶，可以注冊(cè)免費(fèi)的google search console帳戶。 使用此工具，您可以為您的網(wǎng)站提交站點(diǎn)地圖，并監(jiān)控實(shí)際添加到google索引的已提交頁面的數(shù)量等。
二、如果您沒有在google搜索結(jié)果中的任何位置顯示，則可能有以下幾種原因：
1、您的網(wǎng)站是全新的，尚未抓取。
2、您的網(wǎng)站未鏈接到任何外部網(wǎng)站。
3、您的網(wǎng)站導(dǎo)航使谷歌機(jī)器人難以有效地抓取它。
4、您的站點(diǎn)包含一些稱為爬蟲指令的基本代碼，阻止搜索引擎。
5、您的網(wǎng)站因垃圾郵件策略而受到google的處罰。
如果您的網(wǎng)站沒有鏈接到其中的任何其他網(wǎng)站，您仍然可以通過在google search console中提交xml站點(diǎn)地圖或手動(dòng)向google提交單個(gè)網(wǎng)址來將其編入索引。 不能保證他們會(huì)在google索引中包含提交的url，但值得一試!
三、google搜索引擎可以看到您的整個(gè)網(wǎng)站嗎?
有時(shí)，google搜索引擎可以通過抓取來查找您網(wǎng)站的某些部分，但其他頁面或部分可能會(huì)因某種原因而模糊不清。 確保google搜索引擎能夠發(fā)現(xiàn)您想要編入索引的所有內(nèi)容，而不僅僅是您的主頁，這一點(diǎn)非常重要。
1、您的內(nèi)容隱藏在登錄表單后面嗎?
如果您要求用戶在訪問某些內(nèi)容之前登錄，填寫表單或回答調(diào)查，搜索引擎將無法看到這些受保護(hù)的頁面。 爬蟲絕對(duì)不會(huì)登錄。
2、您是否依賴搜索表單?
機(jī)器人無法使用搜索表單。 有些人認(rèn)為，如果他們?cè)谧约旱木W(wǎng)站上放置搜索框，搜索引擎就能找到訪問者搜索的所有內(nèi)容。
3、文本是否隱藏在非文本內(nèi)容中?
非文本媒體表單(圖像，視頻，gif等)不應(yīng)用于顯示您希望編入索引的文本。 雖然搜索引擎在識(shí)別圖像方面越來越好，但仍無法保證他們能夠閱讀和理解圖像。 最好在網(wǎng)頁的標(biāo)記中添加文本。
四、google搜索引擎可以關(guān)注您的網(wǎng)站導(dǎo)航嗎?
正如google爬蟲需要通過其他網(wǎng)站的鏈接發(fā)現(xiàn)您的網(wǎng)站一樣，它需要您自己網(wǎng)站上的鏈接路徑，以便在頁面之間引導(dǎo)它。 如果你有一個(gè)頁面，你希望搜索引擎找到它，但它沒有鏈接到任何其他頁面，它就像看不見一樣好。 許多網(wǎng)站都在以搜索引擎無法訪問的方式構(gòu)建導(dǎo)航，從而阻礙了他們?cè)谒阉鹘Y(jié)果中列出的能力。
五、常見的導(dǎo)航錯(cuò)誤可能會(huì)使抓取工具無法看到您的所有網(wǎng)站：
1、使移動(dòng)導(dǎo)航顯示桌面導(dǎo)航不同
2、任何類型的導(dǎo)航，其中菜單項(xiàng)不在html中，例如啟用javascript的導(dǎo)航。 谷歌在抓取和理解javascript方面做得更好，但它仍然不是一個(gè)完美的過程。 為了確保確保google發(fā)現(xiàn)，理解和索引某些內(nèi)容的更加可靠的方法是將其放入html中。
3、個(gè)性化，或顯示特定類型的訪問者與其他訪問者的獨(dú)特導(dǎo)航，似乎隱藏在搜索引擎爬蟲中
4、忘記通過導(dǎo)航鏈接到您網(wǎng)站上的主頁 - 請(qǐng)記住，抓取工具是跟隨爬蟲進(jìn)入新頁面的!
這就是為什么您的網(wǎng)站必須具有清晰的導(dǎo)航和有用的url文件夾結(jié)構(gòu)。
以上就是《谷歌搜索引擎抓取網(wǎng)頁的原理跟注意事項(xiàng)》的全部內(nèi)容，僅供站長朋友們互動(dòng)交流學(xué)習(xí)，谷歌優(yōu)化是一個(gè)需要堅(jiān)持的過程，希望大家一起共同進(jìn)步。
首先您可以使用 “site: yourdomain.com”(一種google搜索運(yùn)算符)來查看google為您的網(wǎng)站編制了多少頁面和哪些頁面。
前往google并在搜索欄中輸入“site：yourdomain.com”。這將返回google在其指定網(wǎng)站的索引中的結(jié)果：
google顯示的結(jié)果數(shù)量并不準(zhǔn)確，但它確實(shí)可以讓您充分了解在您的網(wǎng)站上編制索引的網(wǎng)頁以及它們當(dāng)前在搜索結(jié)果中的顯示方式。
要獲得更準(zhǔn)確的結(jié)果，請(qǐng)?jiān)趃oogle search console中監(jiān)控并使用“索引覆蓋率”報(bào)告。 如果您目前沒有g(shù)oogle帳戶，可以注冊(cè)免費(fèi)的google search console帳戶。 使用此工具，您可以為您的網(wǎng)站提交站點(diǎn)地圖，并監(jiān)控實(shí)際添加到google索引的已提交頁面的數(shù)量等。
二、如果您沒有在google搜索結(jié)果中的任何位置顯示，則可能有以下幾種原因：
1、您的網(wǎng)站是全新的，尚未抓取。
2、您的網(wǎng)站未鏈接到任何外部網(wǎng)站。
3、您的網(wǎng)站導(dǎo)航使谷歌機(jī)器人難以有效地抓取它。
4、您的站點(diǎn)包含一些稱為爬蟲指令的基本代碼，阻止搜索引擎。
5、您的網(wǎng)站因垃圾郵件策略而受到google的處罰。
如果您的網(wǎng)站沒有鏈接到其中的任何其他網(wǎng)站，您仍然可以通過在google search console中提交xml站點(diǎn)地圖或手動(dòng)向google提交單個(gè)網(wǎng)址來將其編入索引。 不能保證他們會(huì)在google索引中包含提交的url，但值得一試!
三、google搜索引擎可以看到您的整個(gè)網(wǎng)站嗎?
有時(shí)，google搜索引擎可以通過抓取來查找您網(wǎng)站的某些部分，但其他頁面或部分可能會(huì)因某種原因而模糊不清。 確保google搜索引擎能夠發(fā)現(xiàn)您想要編入索引的所有內(nèi)容，而不僅僅是您的主頁，這一點(diǎn)非常重要。
1、您的內(nèi)容隱藏在登錄表單后面嗎?
如果您要求用戶在訪問某些內(nèi)容之前登錄，填寫表單或回答調(diào)查，搜索引擎將無法看到這些受保護(hù)的頁面。 爬蟲絕對(duì)不會(huì)登錄。
2、您是否依賴搜索表單?
機(jī)器人無法使用搜索表單。 有些人認(rèn)為，如果他們?cè)谧约旱木W(wǎng)站上放置搜索框，搜索引擎就能找到訪問者搜索的所有內(nèi)容。
3、文本是否隱藏在非文本內(nèi)容中?
非文本媒體表單(圖像，視頻，gif等)不應(yīng)用于顯示您希望編入索引的文本。 雖然搜索引擎在識(shí)別圖像方面越來越好，但仍無法保證他們能夠閱讀和理解圖像。 最好在網(wǎng)頁的標(biāo)記中添加文本。
四、google搜索引擎可以關(guān)注您的網(wǎng)站導(dǎo)航嗎?
正如google爬蟲需要通過其他網(wǎng)站的鏈接發(fā)現(xiàn)您的網(wǎng)站一樣，它需要您自己網(wǎng)站上的鏈接路徑，以便在頁面之間引導(dǎo)它。 如果你有一個(gè)頁面，你希望搜索引擎找到它，但它沒有鏈接到任何其他頁面，它就像看不見一樣好。 許多網(wǎng)站都在以搜索引擎無法訪問的方式構(gòu)建導(dǎo)航，從而阻礙了他們?cè)谒阉鹘Y(jié)果中列出的能力。
五、常見的導(dǎo)航錯(cuò)誤可能會(huì)使抓取工具無法看到您的所有網(wǎng)站：
1、使移動(dòng)導(dǎo)航顯示桌面導(dǎo)航不同
2、任何類型的導(dǎo)航，其中菜單項(xiàng)不在html中，例如啟用javascript的導(dǎo)航。 谷歌在抓取和理解javascript方面做得更好，但它仍然不是一個(gè)完美的過程。 為了確保確保google發(fā)現(xiàn)，理解和索引某些內(nèi)容的更加可靠的方法是將其放入html中。
3、個(gè)性化，或顯示特定類型的訪問者與其他訪問者的獨(dú)特導(dǎo)航，似乎隱藏在搜索引擎爬蟲中
4、忘記通過導(dǎo)航鏈接到您網(wǎng)站上的主頁 - 請(qǐng)記住，抓取工具是跟隨爬蟲進(jìn)入新頁面的!
這就是為什么您的網(wǎng)站必須具有清晰的導(dǎo)航和有用的url文件夾結(jié)構(gòu)。
以上就是《谷歌搜索引擎抓取網(wǎng)頁的原理跟注意事項(xiàng)》的全部內(nèi)容，僅供站長朋友們互動(dòng)交流學(xué)習(xí)，谷歌優(yōu)化是一個(gè)需要堅(jiān)持的過程，希望大家一起共同進(jìn)步。