核心内容摘要
【绝世对决】78进13，巅峰之战！见证王者诞生，这场比赛完整视频不容错过！
在大数据时代网络爬虫已成为信息采集的核心工具广泛应用于数据分析、搜索引擎优化等领域。
Python 凭借简洁的语法和强大的库支持成为编写爬虫的首选语言。
本文将从基础概念出发结合 requests 和 beautifulsoup4 库的实战应用带大家完成豆瓣电影排行的数据爬取轻松掌握爬虫核心技能。
网络爬虫核心认知网络爬虫Web Crawler是按特定规则自动抓取万维网信息的程序或脚本如同在网络中漫游的 “蜘蛛”通过网页中的超链接持续探索更多页面。
其核心工作流程可概括为三步数据采集通过 HTTP 请求获取网页原始内容数据处理解析 HTML/XML 文档提取有效信息数据存储将有用数据持久化到文件或数据库。
环境准备必备库安装爬虫开发需先安装两个核心库直接通过 pip 命令即可完成requests 库模拟浏览器发送 HTTP 请求获取网页内容pip install requestsbeautifulsoup4 库解析 HTML 页面提取目标数据pip install beautifulsoup4
核心库详解与基础用法一requests 库获取网页内容requests 库封装了复杂的 HTTP 请求逻辑使用起来简洁直观核心功能如下支持 GET/POST/PUT/DELETE 等 HTTP 方法自动处理编码、Cookie 和连接池提供超时设置和异常处理机制。
基础使用步骤导入库import requests发送请求使用 get () 方法获取网页需设置 User-Agent 伪装浏览器headers {User-Agent: Mozilla/
0 (Windows NT
1; WOW
AppleWebKit/
5
1 (KHTML, like Gecko) Chrome/
14.
0.
8
163 Safari/
5
1} url https://movie.douban.com/chart response requests.get(url, headersheaders, timeout
10)
处理响应通过 status_code 判断请求状态200 为成功text 属性获取网页文本if response.status_code 200: html response.text # 获取HTML字符串 response.encoding response.apparent_encoding # 自动检测编码二beautifulsoup4 库解析网页数据获取 HTML 内容后需用 beautifulsoup4 解析结构提取目标信息其核心优势是支持灵活的选择器语法。
基础使用步骤导入库from bs4 import BeautifulSoup创建解析对象指定 HTML 文本和解析器html.parser 为内置解析器soup BeautifulSoup(html, html.parser)
提取数据支持两种核心选择器节点选择器直接通过标签名获取元素如soup.title获取标题soup.p获取第一个 p 标签方法选择器使用 find ()获取第一个匹配结果和 find_all ()获取所有匹配结果支持按标签名、属性筛选。
常用属性说明name获取标签名称如 divattrs获取标签属性返回字典如 href、classstring获取标签内文本内容stripped_strings获取所有非空文本生成器对象。
实战爬取豆瓣电影排行一明确目标与分析网页目标爬取豆瓣电影排行榜的电影名称、上映时间、主演、评分等信息。
网页分析通过浏览器开发者工具查看元素结构发现电影信息集中在classpl2的 div 标签和classstar clearfix的评分区域。
二完整代码实现import requests from bs4 import BeautifulSoup import json #
设置请求头和目标URL headers {User-Agent: Mozilla/
0 (Windows NT
1; WOW
AppleWebKit/
5
1 (KHTML, like Gecko) Chrome/
14.
0.
8
163 Safari/
5
1} url https://movie.douban.com/chart #
获取网页内容 def get_html(url, headers): try: response requests.get(url, headersheaders, timeout
if response.status_code 200: response.encoding response.apparent_encoding return response.text else: print(f请求失败状态码{response.status_code}) return None except Exception as e: print(f请求异常{e}) return None #
解析网页数据 def parse_html(html): soup BeautifulSoup(html, html.parser) movies [] # 查找所有电影条目 items soup.find_all(tr, class_item) for item in items: # 提取电影名称 name_tag item.find(div, class_pl
.find(a) movie_name name_tag.get_text(stripTrue).replace(\n, ).replace(/, / ) # 提取上映信息和主演 info_tag item.find(p, class_pl) info info_tag.get_text(stripTrue) release_time info.split(/)[0].strip() actors [actor.strip() for actor in info.split(/)[1:4] if actor.strip()] # 提取评分 rating_tag item.find(span, class_rating_nums) rating rating_tag.get_text(stripTrue) if rating_tag else 暂无评分 # 构建电影字典 movie_dict { 电影名称: movie_name, 上映时间: release_time, 主演: actors, 评分: rating } movies.append(movie_dict) return movies #
存储数据到JSON文件 def save_data(movies, filenamedouban_movies.json): with open(filename, w, encodingutf-
as f: json.dump(movies, f, ensure_asciiFalse, indent
print(f数据已保存到{filename}共爬取{len(movies)}部电影) # 主函数执行 if __name__ __main__: html_content get_html(url, headers) if html_content: movie_data parse_html(html_content) if movie_data: save_data(movie_data)三关键步骤解析反爬处理设置 User-Agent 伪装成浏览器避免被服务器识别为爬虫标签定位通过 find_all () 找到所有电影条目再逐层提取子标签信息数据清洗处理文本中的换行符和空格规范数据格式数据存储使用 JSON 格式存储保证数据可读性和可扩展性。
五、
总结与拓展通过本次实战我们掌握了 Python 爬虫的完整流程从环境搭建、库的使用到网页解析和数据存储。
requests 库负责 “获取数据”beautifulsoup4 库负责 “提炼数据”两者结合可高效完成大多数静态网页的爬取任务。
后续拓展方向爬取动态网页学习 selenium 库模拟浏览器行为批量爬取多页通过构造 URL 参数实现分页爬取数据可视化使用 matplotlib 或 pandas 分析爬取的电影评分分布进阶反爬处理 Cookie、代理 IP 等复杂反爬机制。
爬虫技术的核心是 “遵循规则、尊重版权”爬取数据时需遵守网站 robots 协议避免过度请求给服务器造成压力。
希望本文能帮助大家快速入门 Python 爬虫在数据采集的世界中探索更多可能