阅读量:3
网络爬虫
网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。
搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫作百度蜘蛛（Baiduspider）。百度蜘蛛每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关网页，按照一定的排名规则进行排序并将结果展现给用户。
在这个过程中，百度蜘蛛起到了至关重要的作用。那么，如何覆盖互联网中更多的优质网页？又如何筛选这些重复的页面？这些都是由百度蜘蛛爬虫的算法决定的。采用不同的算法，爬虫的运行效率会不同，爬取结果也会有所差异。
实现简单版百度贴吧爬虫
要求： 获取https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&pn=页面内容，存入文件中。
func main() { var start, end int fmt.Printf("请输入起始页(>=1):") fmt.Scan(&start) fmt.Printf("请输入终止页(>=起始页):") fmt.Scan(&end) DoWork(start, end) } - 输入起始页以及终止页
func DoWork(start, end int) { fmt.Printf("正在爬取%d到%d的页面\n", start, end) for i := start; i <= end; i++ { //明确要在那一个范围进行搜索 ur1 := "https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&pn=" + strconv.Itoa((i-1)*50) fmt.Println("ur1=", ur1) //爬 result, err := HttpGet(ur1) if err != nil { fmt.Println("HttpGet.err=", err) continue } //把内容写入文件 fileName := strconv.Itoa(i) + ".html" f, err1 := os.Create(fileName) if err1 != nil { fmt.Println("os.Create.err1=", err1) continue } f.WriteString(result) //写 f.Close() } } - 明确要在那一个范围进行搜索
ur1 := "https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&pn=" + strconv.Itoa((i-1)*50)实际的页面是一页50个数据，所以以此来进行获取。 - 获取
result, err := HttpGet(ur1)
func HttpGet(ur1 string) (result string, err error) { resp, err1 := http.Get(ur1) if err1 != nil { err = err1 return } defer resp.Body.Close() //读取网页内容 buf := make([]byte, 1024*4) for { n, err := resp.Body.Read(buf) if n == 0 { //读取结束或者出问题了 fmt.Println("resp.Body.Read.err=", err) break } result += string(buf[:n]) } return } Get底层
func Get(url string) (resp *Response, err error) { return DefaultClient.Get(url) } - 读取网页的内容
n, err := resp.Body.Read(buf) - 返回结果
- DoWork将放回的内容写入文件中
结果展示
