网络爬虫基础介绍

什么是爬虫

Web 爬虫，也称为网络蜘蛛或网络机器人，是一种用于自动化访问和抓取网页内容的程序。爬虫通过模拟用户访问网页的行为，从互联网上获取数据，并将其存储或进一步处理。

爬虫的应用场景

• 搜索引擎索引：如 Google、Bing，构建和更新搜索引擎的网页索引。
• 数据挖掘和分析：如价格监控、市场研究、新闻聚合等。
• 内容聚合：如新闻聚合网站、比价网站，从多个来源抓取内容并汇总。
• 竞争情报：监控竞争对手网站的变化，获取最新的市场动向。

爬虫的类型

1. 通用爬虫（General Web Crawler）

• 描述：抓取尽可能多的网页，不针对特定的网站或内容。
• 应用：搜索引擎（如 Googlebot、Bingbot）。
• 特点：广泛抓取，覆盖整个互联网，遵循网站的 robots.txt 文件。

2. 聚焦爬虫（Focused Crawler）

• 描述：根据特定主题或关键词抓取相关网页。
• 应用：研究特定领域的信息、监控特定主题的动态。
• 特点：目标明确，抓取范围较狭窄，但深入特定领域。

3. 增量爬虫（Incremental Crawler）

• 描述：只抓取和更新自上次爬取以来发生变化的网页。
• 应用：保持索引的最新状态，减少重复抓取。
• 特点：高效更新，节省带宽和资源。

4. 深度爬虫（Deep Web Crawler）

• 描述：抓取深网内容，包括动态生成的页面、需要表单提交才能访问的内容。
• 应用：获取非公开网页、数据库内容、需要认证访问的资源。
• 特点：复杂度高，可能需要模拟用户行为（如登录、表单提交）。

5. 垂直爬虫（Vertical Crawler）

• 描述：专注于特定行业或领域的网站内容抓取。
• 应用：电商比价网站、招聘信息聚合、房产信息收集。
• 特点：聚焦于某一行业，抓取深度较深，内容质量较高。

6. 动态爬虫（Dynamic Crawler）

• 描述：能够抓取动态生成的内容，通过模拟浏览器行为执行 JavaScript。
• 应用：抓取现代 Web 应用（如单页应用，SPA）的内容。
• 特点：复杂度高，需要使用工具如 Selenium、Puppeteer。

爬虫关注的请求头

• Host：指定请求的目标主机和端口号。例如：Host: www.example.com
• Content-Type：告诉服务器请求中包含的内容的类型，以便服务器正确解析和处理请求主体。常见的值有 application/json，application/x-www-form-urlencoded，multipart/form-data 等。例如：Content-Type: application/json
• Connection：决定客户端和服务器之间的网络连接是否保持打开，或者在请求完成后关闭。常见的值有 keep-alive 和 close。例如：Connection: keep-alive
• Upgrade-Insecure-Requests：用于告知服务器，客户端愿意接收通过 HTTPS 提供的资源，而不是通过 HTTP。例如：Upgrade-Insecure-Requests: 1
• User-Agent：标识请求的客户端应用程序类型、操作系统、软件版本等。帮助服务器识别请求的客户端，有时服务器会根据 User-Agent 返回不同的内容或进行特定的处理。例如：User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36
• Referer：指示请求的来源页面的 URL。用于告诉服务器当前请求来自哪个页面。服务器有时会根据 Referer 进行分析或防止跨站请求伪造（CSRF）攻击。例如：Referer: https://www.example.com/previous-page
• Cookie：包含客户端存储的所有 cookie 数据。用于在请求中传递与服务器会话相关的数据，比如用户登录状态、首选项等。服务器可以使用这些 cookie 来识别和跟踪用户。例如：Cookie: sessionId=abc123; theme=light
• Authorization：包含身份验证信息。用于提供凭据，以证明请求用户的身份。常见的值有 Basic（基本认证）和 Bearer（通常用于 JWT 或 OAuth 令牌）。例如：Authorization: Bearer <token>
• Accept-Language：指定客户端期望接收的语言（如 en-US, zh-CN）。帮助服务器返回本地化的内容。例如：Accept-Language: zh-CN
• Accept-Encoding：指定客户端可以处理的内容编码（如 gzip, deflate），使用何种压缩方法传输数据以节省带宽。例如：Accept-Encoding: gzip, deflate

爬虫关注的响应头

• Content-Type：指示响应内容的 MIME 类型，告诉客户端如何解释响应内容。例如，text/html 表示 HTML 文档，application/json 表示 JSON 数据。例如：Content-Type: application/json
• Content-Length：指示响应内容的字节长度。例如：Content-Length: 348
• Set-Cookie：用于设置客户端的 cookie，服务器通过此头部向客户端发送 cookie，客户端会在后续请求中携带这些 cookie。例如：Set-Cookie: sessionId=abc123; Path=/; HttpOnly
• Server：提供服务器相关信息，但过多的详细信息可能会暴露安全风险。例如：Server: Apache/2.4.41 (Ubuntu)
• Cache-Control：指示缓存策略，控制客户端和中间代理的缓存行为，常见的值包括 no-cache, no-store, max-age=3600。例如：Cache-Control: no-cache
• Content-Encoding：指示响应内容的编码方式。常见的编码方式有 gzip, deflate, br。例如：Content-Encoding: gzip
• Location：指示重定向的目标 URL。用于重定向响应，通常与状态码 3xx 一起使用，告知客户端要重定向到的新位置。例如：Location: https://www.example.com/new-page
• Access-Control-Allow-Origin：控制跨域资源共享（CORS），指定哪些域名可以访问资源。* 表示允许所有域名访问。例如：Access-Control-Allow-Origin: *

爬虫对响应状态码的处理建议

常见状态码

1xx 信息响应（Informational Responses）

1. 100 Continue
   • 描述：请求已收到，客户端可以继续发送请求体。
   • 应用：适用于较大请求体的分段传输。

2xx 成功响应（Successful Responses）

1. 200 OK

   • 描述：请求成功，服务器已返回所请求的数据。
   • 应用：抓取成功的页面。

2. 201 Created

   • 描述：请求成功，并且服务器创建了新的资源。
   • 应用：POST 请求后，资源成功创建时的响应。

3. 204 No Content

   • 描述：请求成功，但没有内容返回。
   • 应用：DELETE 请求后，资源成功删除时的响应。

3xx 重定向响应（Redirection Responses）

1. 301 Moved Permanently

   • 描述：请求的资源已永久移动到新 URL。
   • 应用：更新爬虫的 URL 记录，抓取新的地址。

2. 302 Found

   • 描述：请求的资源临时移动到新 URL。
   • 应用：跟随重定向抓取新地址，但不更新 URL 记录。

3. 304 Not Modified

   • 描述：请求的资源未修改，可以使用缓存版本。
   • 应用：减少不必要的抓取，使用本地缓存数据。

4xx 客户端错误响应（Client Error Responses）

1. 400 Bad Request

   • 描述：请求无效，服务器无法处理。
   • 应用：检查请求的构建，修正错误。

2. 401 Unauthorized

   • 描述：请求需要身份验证。
   • 应用：提供必要的认证信息，如 Token 或 Cookie。

3. 403 Forbidden

   • 描述：服务器拒绝请求，无权访问资源。
   • 应用：可能需要更改策略或提供认证信息。

4. 404 Not Found

   • 描述：请求的资源不存在。
   • 应用：记录该 URL，不再尝试抓取。

5. 429 Too Many Requests

   • 描述：请求频率过高，被服务器限流。
   • 应用：调整抓取频率，遵守网站的请求速率限制。

5xx 服务器错误响应（Server Error Responses）

1. 500 Internal Server Error

   • 描述：服务器内部错误，无法完成请求。
   • 应用：通常是服务器端问题，可能重试请求。

2. 502 Bad Gateway

   • 描述：网关或代理服务器从上游服务器接收到无效响应。
   • 应用：可能是暂时性问题，重试请求。

3. 503 Service Unavailable

   • 描述：服务器目前无法处理请求，通常是暂时性的。
   • 应用：通常由于服务器过载或维护，稍后重试。

4. 504 Gateway Timeout

   • 描述：网关或代理服务器等待上游服务器响应超时。
   • 应用：可能是暂时性问题，重试请求。

处理建议

• 成功状态码（2xx）：正常处理，提取和存储数据。
• 重定向状态码（3xx）：跟随重定向，确保抓取正确的最终 URL。
• 客户端错误状态码（4xx）：分析和调整请求，避免无效请求。
• 服务器错误状态码（5xx）：适当重试请求，但要设置重试次数上限，防止无限重试。
• 状态码不是绝对可信的，例如：一些网站为了防止爬虫过度抓取，会故意返回错误的状态码，如 403、404、429、503等。一切以是否从响应中获取到数据为准，network中得到的源码是判断依据，elements中的源码是渲染之后的，不能作为判断依据。

爬虫的法律问题

• 数据访问权限：

  • 爬虫必须遵守目标网站的使用条款和服务协议。某些网站可能明确禁止自动化访问或数据抓取。
  • 解决方案：确保在合法授权或许可的范围内进行数据访问和抓取。

• 著作权和数据所有权：

  • 爬虫抓取的内容可能受到版权保护。对于未经许可的数据抓取，可能侵犯原作者的著作权。
  • 解决方案：尊重版权法，仅抓取公开或允许使用的数据，或者获取数据使用许可。

• 反竞争行为：

  • 爬虫抓取竞争对手的价格信息或商业机密，可能构成不正当竞争或侵犯商业秘密。
  • 解决方案：遵守竞争法规定，避免获取或使用未公开的商业机密信息。

• 隐私保护：

  • 爬虫抓取的数据可能涉及个人隐私，如用户信息或敏感数据。未经授权地收集和处理这些数据可能违反隐私法规。
  • 解决方案：遵守数据保护法律，确保在合法和透明的条件下处理个人数据。

• 网络攻击和破坏：

  • 爬虫不得用于未经授权的网络攻击或破坏行为，如对目标网站进行拒绝服务攻击（DDoS）或其他恶意行为。
  • 解决方案：遵守计算机犯罪法，确保使用爬虫技术不会损害他人的网络安全和正常运作。