技术学院

如何使用Golang实现HTTP请求并发处理_Golang并发请求优化方法

作者:P粉6029986702026-01-11 00:00:00

http.Client 默认不支持高并发是因为其底层 http.Transport 的连接池限制严格：默认 MaxIdleConns 和 MaxIdleConnsPerHost 均为100，IdleConnTimeout 等超时参数保守，易导致 DNS 查询失败、context deadline exceeded 及 too many open files 等问题。

为什么 `http.Client` 默认不支持高并发？

Go 的 http.Client 本身是线程安全的，能复用连接、支持并发调用，但默认配置下容易成为瓶颈：它底层依赖 http.Transport，而后者默认只允许最多 100 个空闲连接（MaxIdleConns），对同一 host 最多 100 个空闲连接（MaxIdleConnsPerHost），且连接超时、空闲超时都设得偏保守。实际压测时经常卡在 dial tcp: lookup xxx: no such host 或大量 context deadline exceeded，不是代码写错了，而是连接池没调好。

常见错误现象包括：

并发数一上 50+ 就开始超时，但 CPU 和内存都很空闲
请求耗时波动极大，部分请求慢几秒，其余瞬间返回
net.Error 中频繁出现 timeout 或 too many open files

关键调整点：

增大 MaxIdleConns 和 MaxIdleConnsPerHost（建议设为 200 或更高，需结合目标 QPS 估算）
显式设置 IdleConnTimeout（如 30 * time.Second），避免连接池积压失效连接
设置合理的 TLSHandshakeTimeout 和 ResponseHeaderTimeout，防止单个慢请求拖垮整个池
务必调用 client.CloseIdleConnections() 在长期运行服务中定期清理（尤其在配置变更后）

用 `sync.WaitGroup` + `goroutine` 控制并发请求数量

盲目起成千上万个 goroutine 发请求，不仅无法提升吞吐，还会因调度开销和连接争抢反而更慢。必须做并发控制 —— 不是“越多越好”，而是“刚好够用”。

推荐用 sync.WaitGroup 配合带缓冲的 channel 实现固定 worker 数量的请求分发：

func doRequests(urls []string, concurrency int) { sem := make(chan struct{}, concurrency) var wg sync.WaitGroup

for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        sem <- struct{}{} // 获取信号量
        defer func() { <-sem }() // 释放

        resp, err := http.Get(u)
        if err != nil {
            log.Printf("failed to fetch %s: %v", u, err)
            return
        }
        defer resp.Body.Close()
        // 处理响应...
    }(url)
}
wg.Wait()

}

注意点：

不要把 url 直接闭包进 goroutine —— 必须传参或显式拷贝，否则所有 goroutine 共享同一个循环变量值
信号量 channel 缓冲大小即最大并发数，建议根据后端承载能力（如目标 API 的限流阈值）设定，通常 10–50 是较安全起点
如果请求间有依赖或需按序返回结果，改用 errgroup.Group 更合适（它内置 cancel 和 error 聚合）

如何避免 `context.DeadlineExceeded` 频发？

HTTP 请求超时必须由 context 控制，不能只靠 http.Client.Timeout。后者只作用于整个请求生命周期（从 dial 到 body read 完），而真实场景中你更关心“这个请求最多花多久”，包括 DNS 解析、TLS 握手、首字节等待等环节。

正确做法是每个请求单独带 context，并合理拆分超时阶段：

用 context.WithTimeout(ctx, 5*time.Second) 控制整体上限
若已知后端响应快（如内部服务），可进一步用 http.NewRequestWithContext + context.WithDeadline 做更精细控制
避免全局复用一个 long-lived context（比如 context.Background()）直接传给所有请求 —— 一旦某次请求卡住，后续所有请求都会被它拖死

示例：

ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second)
defer cancel()
req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := client.Do(req)
if err != nil {
if errors.Is(err, context.DeadlineExceeded) {
log.Printf("request %s timed out", url)
}
return
}

要不要用第三方库如 `fasthttp`？

如果你的场景是纯 HTTP 客户端高频调用（比如爬虫、API 网关、批量健康检查），且不需要完整 HTTP/2、CookieJar、RedirectPolicy 等高级特性，fasthttp 确实能带来 2–5 倍性能提升：它零分配解析、复用 byte.Buffer、跳过 net/http 的 interface 抽象层。