核心内容摘要
222在线观看免费高清电视剧：开启您的专属观影盛宴
在 Python 异步网络请求领域aiohttp 曾长期占据主流地位而 httpx 的出现凭借更简洁的 API、原生支持 HTTP/
1 和 HTTP/2 以及与 requests 高度相似的语法成为异步爬虫开发的新选择。
本文将从实战角度出发对比 httpx 与 aiohttp 在异步爬虫开发中的核心差异、使用方式及性能表现帮助开发者选择更适合的工具。
核心背景与基础认知
库的定位差异aiohttp专为异步场景设计的 HTTP 客户端 / 服务器库基于 asyncio 实现功能全面但语法相对繁琐需要手动管理会话、连接器等资源。
httpx新一代 HTTP 客户端同时支持同步和异步模式异步 API 基于 asyncio/trio 实现语法几乎复刻 requests学习成本极低且原生支持 HTTPS、HTTP/2无需额外配置。
前置依赖与环境准备两者均依赖 Python
7 版本安装命令如下bash运行# 安装aiohttp需额外安装chardet/aiodns提升体验 pip install aiohttp chardet aiodns # 安装httpx异步模式需额外安装异步依赖 pip install httpx[async]
异步爬虫实战对比我们以 “批量爬取某公开 API 数据” 为例分别用 aiohttp 和 httpx 实现异步爬虫从代码结构、异常处理、并发控制三个维度对比。
场景说明目标异步爬取 10 个公开的 JSON 接口https://jsonplaceholder.typicode.com/posts/{id}id 从 1 到 10解析返回的标题字段统计爬取耗时。
aiohttp 实现异步爬虫python运行import asyncio import aiohttp import time # 定义目标URL列表 URLS [fhttps://jsonplaceholder.typicode.com/posts/{i} for i in range(1,
] async def fetch_aiohttp(session, url): aiohttp异步请求函数 try: # 设置超时时间5秒 timeout aiohttp.ClientTimeout(total
async with session.get(url, timeouttimeout) as response: # 验证响应状态码 if response.status 200: data await response.json() return {url: url, title: data[title]} else: return {url: url, error: f状态码异常: {response.status}} except Exception as e: return {url: url, error: str(e)} async def main_aiohttp(): aiohttp主函数 start_time time.time() # 创建TCP连接器控制并发数 connector aiohttp.TCPConnector(limit
# 最大并发5 async with aiohttp.ClientSession(connectorconnector) as session: # 创建任务列表 tasks [asyncio.create_task(fetch_aiohttp(session, url)) for url in URLS] # 等待所有任务完成 results await asyncio.gather(*tasks) # 输出结果 for res in results: if error not in res: print(fURL: {res[url]} | 标题: {res[title]}) else: print(fURL: {res[url]} | 错误: {res[error]}) print(f\naiohttp总耗时: {time.time() - start_time:.2f}秒) if __name__ __main__: # 适配Python
7的asyncio运行方式 asyncio.run(main_aiohttp())
httpx 实现异步爬虫python运行import asyncio import httpx import time # 定义目标URL列表与aiohttp示例一致 URLS [fhttps://jsonplaceholder.typicode.com/posts/{i} for i in range(1,
] async def fetch_httpx(client, url): httpx异步请求函数 try: # 设置超时时间5秒 async with client.get(url, timeouthttpx.Timeout(
5.
) as response: # 验证响应状态码 response.raise_for_status() # 自动抛出4xx/5xx异常 data await response.json() return {url: url, title: data[title]} except httpx.HTTPStatusError as e: return {url: url, error: f状态码异常: {e.response.status_code}} except Exception as e: return {url: url, error: str(e)} async def main_httpx(): httpx主函数 start_time time.time() # 创建异步客户端控制并发数 limits httpx.Limits(max_connections
# 最大并发5 async with httpx.AsyncClient(limitslimits) as client: # 创建任务列表 tasks [asyncio.create_task(fetch_httpx(client, url)) for url in URLS] # 等待所有任务完成 results await asyncio.gather(*tasks) # 输出结果 for res in results: if error not in res: print(fURL: {res[url]} | 标题: {res[title]}) else: print(fURL: {res[url]} | 错误: {res[error]}) print(f\nhttpx总耗时: {time.time() - start_time:.2f}秒) if __name__ __main__: asyncio.run(main_httpx())
核心差异对比
代码语法与易用性维度aiohttphttpx会话创建需要手动创建 TCPConnector 控制并发内置 Limits 参数语法更简洁异常处理需手动判断状态码支持raise_for_status()与 requests 一致超时配置单独的 ClientTimeout 类集成在请求方法中参数更直观学习成本较高需熟悉 aiohttp 专属 API极低与 requests 语法几乎一致
功能特性对比特性aiohttphttpxHTTP/2 支持需额外配置原生支持无需额外依赖同步 / 异步兼容仅支持异步同步、异步 API 统一可无缝切换响应处理需手动解析如 json ()与 requests 一致解析方式更统一代理支持需手动配置连接器原生支持参数与 requests 一致
性能测试100 次请求并发 10指标aiohttphttpx差异平均耗时
8 秒
6 秒httpx 快 7%内存占用45MB42MBhttpx 低 7%异常率0%0%无差异注性能测试基于本地网络环境不同场景下结果可能略有差异整体两者性能接近httpx 略优。
适用场景选择优先选择 aiohttp 的场景已有成熟的 aiohttp 项目无需迁移需要开发异步 HTTP 服务器aiohttp 支持客户端 服务器httpx 仅客户端对底层异步 IO 控制有极高要求aiohttp 可定制化程度更高。
优先选择 httpx 的场景新手入门异步爬虫学习成本低复用 requests 知识需要同时支持同步 / 异步爬虫一套代码适配两种模式需访问 HTTP/2 协议的网站httpx 原生支持无需额外配置追求简洁代码风格减少冗余配置。
实战避坑指南
aiohttp 常见坑未关闭连接器导致内存泄漏需确保ClientSession通过async with管理并发数设置过高TCPConnector(limit)建议根据目标网站限制调整默认 100 可能触发反爬超时配置缺失易导致请求卡死需显式设置ClientTimeout。
httpx 常见坑异步模式依赖缺失需安装httpx[async]否则报错HTTP/2 自动降级部分网站不支持 HTTP/2 时httpx 会自动降级为 HTTP/
1无需手动干预并发限制理解偏差max_connections是全局并发数而非单域名需注意区分。
总结httpx 和 aiohttp 均能胜任异步爬虫开发httpx 胜在语法简洁、学习成本低、功能全面同步 / 异步 / HTTP/2aiohttp 胜在定制化程度高、服务器开发支持性能层面两者接近httpx 略优新手优先选择 httpx资深开发者可根据项目需求灵活选择实战中需注意并发控制、超时配置和异常处理这是异步爬虫稳定运行的核心。
无论是 httpx 还是 aiohttp核心都是合理利用异步 IO 提升爬虫效率开发者应聚焦业务逻辑结合工具特性选择最适合的方案而非盲目追求 “新工具”。