为什么我会跟这个视频较上劲
事情是这样的，上周我媳妇突然跟我说，她想把《365大千世界》那套纪录片存到平板里，出差路上看，这套视频吧，讲的是全球各地的自然奇观和人文故事，一集一个地方，画面是真的漂亮，可问题是，这玩意儿在App里看着方便，想下载下来就没那么简单了——官方客户端有加密,网页版又各种限制。
我寻思着，这不就是典型的“视频下载”需求嘛，作为一个写Go写了快五年的程序员，要是连这个都搞不定，那也太丢人了，于是那个周末，我翻出电脑，打开终端，开始了一场和“365大千世界”的斗智斗勇。
第一步：先搞清楚这视频到底是怎么播出来的
拿到播放地址，成功了一半
在动手写代码之前，我得先看看这个视频在网页上是怎么加载的，打开浏览器开发者工具（F12），切到Network面板，刷新页面，然后点播放，很快，我就在一堆请求里找到了关键的那一条——一个.m3u8结尾的地址。
你可能要问了，m3u8是什么？简单说吧，它就像一个播放列表文件，里面写着一串视频分片的地址，这些分片通常是一段一段的.ts文件，每段大概几秒钟，播放器拿到m3u8之后，会按顺序把这些小片下载下来,边下边播。
这里有个关键点：这个m3u8地址可不是固定的，它里面带了过期时间戳和签名参数，也就是说，你隔十分钟再去请求同一个地址，大概率就失效了，所以下载的第一步，必须得先模拟浏览器请求，拿到这个“新鲜出炉”的m3u8链接。
// 这里我直接用Go写了一个请求函数，模拟浏览器的User-Agent和Referer
client := &http.Client{Timeout: 30 * time.Second}
req, _ := http.NewRequest("GET", videoPageUrl, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 ...")
req.Header.Set("Referer", "https://example.com/365world")
resp, err := client.Do(req)
从m3u8里挖出真正的下载地址
拿到m3u8文件内容后，我把它存到本地一看,内容大概是这样的：
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10.0,
https://cdn.example.com/segments/0000.ts
#EXTINF:10.0,
https://cdn.example.com/segments/0001.ts
...哦豁，原来就是一个纯文本文件嘛，不过有时候会有嵌套的情况——不是直接给.ts地址，而是给另一个m3u8地址，那个叫“二级索引”，这种一般是用来做多码率切换的，这时候就得解析一下，看看有没有#EXT-X-STREAM-INF标记,然后从中挑一个合适清晰度的子播放列表。
第二步：写一个能用的Golang下载器
核心逻辑：并发下载 + 顺序拼接
既然知道了视频本质是一堆.ts小文件，那思路就很清晰了：先下载所有分片到本地，再按顺序拼接成一个完整的MP4文件。
但这里有个性能问题——如果一个个顺序下，一集40分钟的视频，可能有上千个分片，一个分片200KB，那也得下载好久，好在这些分片之间没有任何依赖关系,完全可以并发下载。
我用Go的sync.WaitGroup加一个简单的信号量来控制并发数，比如同时开10个goroutine去拉分片，还要注意一点：每个分片请求也得带上合适的Header,不然CDN可能会拒绝。
func downloadSegment(url string, path string, wg *sync.WaitGroup) {
defer wg.Done()
// 这里省略了具体的文件保存逻辑，无非就是发起GET请求，然后把响应体写到磁盘上
}
// 控制并发数
sem := make(chan struct{}, 10)
var wg sync.WaitGroup
for _, segURL := range segmentList {
wg.Add(1)
sem <- struct{}{} // 占用一个槽位
go func(url string) {
defer func() { <-sem }()
downloadSegment(url, path, &wg)
}(segURL)
}
wg.Wait()
拼接分片：其实没你想的那么复杂
所有分片下载完之后，拼接就简单了，在Linux或者macOS上，直接用cat命令就能搞定：
cat segments/*.ts > output.ts
当然在Go里面，你也可以用os.OpenFile打开一个输出文件，然后逐个读取分片文件，用io.Copy写进去。
不过要注意，有些视频流的音频和视频是分轨的——m3u8里可能同时包含视频轨（视频数据）和音频轨（音频数据），下载下来是两个不同的文件，这种情况就需要用ffmpeg把两者合并了，对于365大千世界来说，我测试下来是音视频混流在一个.ts里的，所以直接拼接就行，但保险起见，我建议下载完之后用ffprobe看一眼流信息。
第三步：处理那些坑——加密和防盗链
AES-128加密分片
如果你运气不太好，遇到m3u8里有#EXT-X-KEY:METHOD=AES-128,URI="key.key"这一行，那就说明视频分片是加密的，每个分片都用了同一个密钥做了AES-128加密,解密才能播放。
解密过程其实也不难：先把key文件下载下来，是个16字节的二进制数据，然后用Go的crypto/aes包，加一个CBC模式的解密器，注意IV（初始向量）一般就是分片的序列号（每个分片的IV可能不同），有些m3u8里会写IV=0x000...0001这样的值。
block, _ := aes.NewCipher(keyData) mode := cipher.NewCBCDecrypter(block, iv) // 然后对每一个分片的数据进行解密
我实测下来，365大千世界的视频流在部分集数是没加密的，但有几集老片源确实加密过，所以写代码的时候,最好把解密逻辑也做进去。
Referer和User-Agent是一道隐形门槛
很多CDN会检查请求头，特别是Referer——如果你的请求没有携带从那个视频页面来的Referer,CDN直接给你返回403。
还有个坑是User-Agent——有些服务器会校验这个头，普通Go默认的UA（Go-http-client/1.1）会被直接拦截，我一般在全局设置一个浏览器UA,比如Chrome的：
client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
req.Header.Set("Referer", "https://www.365world.com/")
第四步：搞一个像样的命令行工具
结构设计：扫描、下载、校验
我现在把整个流程整理成了三个步骤：扫描m3u8、下载分片、拼接校验，在Go里，我把它写成了一个CLI工具,支持命令行参数：
| 参数 | 说明 | 示例 |
|---|---|---|
-u |
视频页面URL | -u https://www.365world.com/video/12345 |
-o |
输出文件名 | -o 大千世界_第188集.mp4 |
-q |
清晰度（高清/标清） | -q high |
-c |
并发数 | -c 8 |
交互的时候你会发现，程序会先输出当前视频的标题、分辨率、分片数量，然后问你确认是否开始下载，这个是用flag包加简单终端读取实现的。
断点续传：意外的惊喜需求
之前我下载到一半，网线被媳妇踢掉了，结果分片才下了60%，前面的白下了，所以后来我加了个逻辑：分片下载前先检查本地是否存在且文件大小>0，如果是就跳过，配合一个简单的download_list.txt记录已完成的分片，这样下次断点续传的时候,只下载缺失的部分。
if _, err := os.Stat(filePath); err == nil {
// 文件已存在，检查大小
info, _ := os.Stat(filePath)
if info.Size() > 0 {
return // 跳过
}
}
这个优化直接让下载体验好了非常多,特别是遇到某些网络不稳定的情况。
第五步：实战测试——下载一集试试
我随便挑了《365大千世界》里的一集"撒哈拉之眼"，页面URL复制下来,运行工具：
$ ./365downloader -u "https://www.365world.com/video/1042" -o "撒哈拉之眼.mp4"
解析播放地址中...
获取到高清流，分辨率 1920x1080，共 684 个分片
开始下载...
[====>----------------------------------] 12%/100% (82/684) 下载速度 4.2MB/s
[========>------------------------------] 24%/100% (164/684) ...
...（大概三分钟）
拼接分片中...
合并完成！输出文件：撒哈拉之眼.mp4 (1.2GB)视频下载下来后我直接用播放器打开，确认能正常播放,画面音质都很OK。
后记：这是个工具，也是个朋友
说实话，写这个下载器花了我大半天时间，中间还踩了不少坑，但折腾完之后，不仅搞定了媳妇的需求，还顺手把自己对HTTP、流媒体协议的理解加深了一截，现在她出差前都会提前跟我说"帮我把下周三集的XXX下载一下"，我就写个脚本批量处理,感觉挺爽的。
当然我也知道，这东西说白了就是个个人技术练习，不属于官方接口，所以也就自己用，不对外传播，你要是也喜欢研究这些底层的东西,不妨自己动手写一个试试。
最后说一句，那个“撒哈拉之眼”的空拍镜头，真的绝了,值得为它下载一集。
本文来自作者[kyadmin]投稿，不代表be365立场，如若转载，请注明出处：http://hljbesthome.com/nba/1999.html
评论列表（4条）
我是be365的签约作者“kyadmin”！
希望本篇文章《365大千世界视频下载，一个 Golang 开发者的折腾笔记》能对你有所帮助！
本站[be365]内容主要涵盖：be365,be365网站,be365网址,ball365体育,Be365排名
本文概览：为什么我会跟这个视频较上劲事情是这样的，上周我媳妇突然跟我说，她想把《365大千世界》那套纪录片存到平板里，出差路上看，这套视频吧，...