老张上周跟我说，他想把m.tzcwn.cn上那个pp365小视频的页面数据抓下来做个分析，我问他为啥不用现成的工具，他说那些工具太死板，想自己用Go写个灵活的，行吧，作为写了五年Go的老码农，我理解这种冲动——毕竟Go的并发模型确实适合干这个，但你知道吗，等我真陪他走了一遍流程，才发现这里面的坑比视频里那些“惊喜”还多。
你得明白你要抓的是什么
m.tzcwn.cn这个站点的pp365小视频，我打开看了下，就是个典型的视频聚合页，里面有列表、详情、播放地址这些常规结构，但注意，它涉及到的数据格式五花八门——有的是JSON接口，有的直接嵌在HTML里，还有的是经过JS动态渲染的，你用Go写爬虫，第一步不是写代码,是分析这个站点的数据流。
我当时让老张先别急，用浏览器的开发者工具看网络请求，结果发现，它播放地址那个接口，居然要带个加密的sign参数，这个sign是怎么生成的？我翻了它的JS文件，里面有个算法是把时间戳加某些固定字符串做个MD5,这就是个典型的反爬手段。
用Go写个基础的请求，其实就这几行
package main
import (
"fmt"
"io/ioutil"
"net/http"
)
func main() {
url := "https://m.tzcwn.cn/pp365/list"
client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X)")
resp, err := client.Do(req)
if err != nil {
fmt.Println("请求失败:", err)
return
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
fmt.Println(string(body[:200])) // 先打200个字节看看
}
这段代码很简单，但你真拿它去抓，十有八九返回的是个“请验证”的页面，为什么？因为你的请求头太干净了，人家一眼就看出你是机器人，你得加上Referer、Accept-Language,甚至要模拟一下Cookie的生成过程。
关键坑位一：动态渲染的页面，你用Go怎么拿？
m.tzcwn.cn的列表页，部分内容是JS跑完才有的，你用http.Get拿到的只是空壳HTML,这时候你有两个选择：
- 用Go写一个轻量的JS引擎，比如
goja，手动执行它的脚本，但说实话，对于复杂的DOM操作，这玩意儿性能不行,维护也头疼。 - 干脆用
chromedp之类的无头浏览器库，我试过，好用是好用，但内存占用大,跑几个并发就有点喘。
我们当时最终选了chromedp，但把它控制在一个单独的进程里，当做一个服务来调用，这样主爬虫程序还是纯Go写的,并发模型稳定。
关键坑位二：那个sign的签名，你得用Go重写
刚才说了，它有个MD5签名，在Go里写这个倒是不难，crypto/md5是现成的，但麻烦的是，它中间还加了个动态的token，这个token是第一次访问页面时,服务端埋在一个隐藏字段里的。
func genSign(token string) string {
data := fmt.Sprintf("%s%s", token, "a1b2c3d4") // 假设的盐值
hash := md5.Sum([]byte(data))
return hex.EncodeToString(hash[:])
}
你得先GET一次首页，把这个token抠出来，然后再带着它去请求那个接口，而且我观察了一下，这个token大概每隔15分钟就换一次,所以你得控制好请求频率。
数据解析，别用正则硬刚
拿到响应体之后，解析里面的视频信息，很多人习惯用正则，但HTML结构一变就全废，我用的是goquery，这个库基本就是jQuery的Go版,选择器用起来舒服很多。
比如你要抓视频标题和播放量：
doc.Find(".video-item").Each(func(i int, s *goquery.Selection) {:= s.Find(".title").Text()
plays := s.Find(".play-count").Text()
fmt.Printf("标题: %s, 播放: %s\n", title, plays)
})
但要注意，它的某些字段是不完整的，比如有的视频没有点赞数，那你想存进数据库的时候，得像这样先判断一下,别直接入库。
| 字段名 | 类型 | 备注 | |--------|------|------|| string | 视频标题，有的含特殊字符，要转义 | | PlayCount | int | 播放量，可能为0，表示未抓到 | | Sign | string | 那个签名值，用于后续接口 | | UpdateAt | time | 抓取时间，存下来做增量用 |
多并发抓取，你得自己控制节奏
Go的goroutine确实爽，但你要是开100个协程同时去抓m.tzcwn.cn，不出30秒你的IP基本就进小黑屋了，我建议用sync.WaitGroup加sync.Mutex来控制并发数量,比如同时最多跑5个。
一定要做重试机制，网络抖动、服务端超时，都是常事，我一般是重试3次，每次间隔指数退避，别傻乎乎地硬重试,那会被封得更惨。
写完了？先别急着跑，用费曼方法检查一下
我跟老张说，你现在写完了，自我感觉良好，但你别急着跑全量，你先把抓下来的20条数据，跟网页上肉眼对比一下，看信息对不对，特别是那个播放地址，是不是有效的、能直接播放的？我记得我们当时抓到一个视频的地址是带防盗链的，必须要带Referer才能放,这就麻烦了。
费曼方法的核心就是：你能不能把你这套抓取逻辑，用大白话讲清楚？ 如果你自己都讲不明白那个sign是怎么加密的，那代码肯定有bug，我们后来发现，那个签名算法里，时间戳是毫秒级的，但JS代码里写的是秒级，差了一千倍，导致我们生成的签名一直对不上,查了半天才查出来。
再一个，你得考虑对方改版，我今天写这篇文章的时候，m.tzcwn.cn的页面结构可能明天就变了，所以代码一定要做好分离——请求层、解析层、存储层分开，哪一层挂了，只改哪一层,别整个推倒重来。
关于存储，我建议你别用MySQL直接存
如果你抓的量不大，比如一天几百条，那SQLite就够了，用Go的database/sql加驱动，很方便，但你要考虑到视频的播放数据是实时变的，你可能过半小时就得更新一次,那就得设计个合理的更新策略。
我用的方案是先把数据全量抓下来放在内存map里，然后再批量写入SQLite，写入时用事务，效率高很多，如果你是抓到一个写一个,那IO开销会让你怀疑人生。
还有个隐藏的坑——手机端和PC端的页面结构不一样
m.tzcwn.cn的m.前缀就是移动端，它的移动端网页和PC端返回的字段，有些是不一致的，比如PC端有“分类”字段，但移动端直接混在标题里，你要统一处理，就得写两个解析器，或者用同一个解析器但加个判断条件,看当前页面是哪种。
我建议你直接测试一下，别臆想，像我之前就是没注意，结果存进去的数据有一半的分类是空的,还得回头补抓数据。
好了，今天就聊到这，你要是真用Go去写了这个爬虫，跑通的那一刻确实有成就感，但记住，反爬与反反爬是个动态博弈过程，随时可能失效，你写的这个只是针对当前版本的m.tzcwn.cn，可能过两周就得改，但那又怎样呢？至少你在这个过程中，把Go的json解析、goquery选择器、并发控制、签名重写这些实操都练了一遍，这比你刷一百道算法题来得实在，下次再遇到类似的视频站,你心里就有底了。
本文来自作者[kyadmin]投稿，不代表be365立场，如若转载，请注明出处：http://hljbesthome.com/keji/1971.html
评论列表（4条）
我是be365的签约作者“kyadmin”！
希望本篇文章《用Golang写一个pp365小视频爬虫？我劝你先想清楚这几个坑》能对你有所帮助！
本站[be365]内容主要涵盖：be365,be365网站,be365网址,ball365体育,Be365排名
本文概览：老张上周跟我说，他想把m.tzcwn.cn上那个pp365小视频的页面数据抓下来做个分析，我问他为啥不用现成的工具，他说那些工具太死板，...