爬虫利用bs4解析练习demo

同样也是爬取新闻页的简要信息

import requests from bs4 import BeautifulSoup Base_url = "https://news.cnblogs.com" Base_path = "/n/page/" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36" } for i in range(1, 2): url = f"{Base_url}{Base_path}{i}/" with requests.get(url=url, headers=headers) as res: if res.status_code != 200: print(res.status_code) break # 用bs4解析 root = BeautifulSoup(res.content, "lxml") # 找到单个新闻块的大标签 b = root.select(".news_block") for ele in b: # 清洗数据 print("标题：", ele.select(".news_entry a")[0].text) print("作者：", ele.select(".entry_footer .gray")[0].text.strip()) print("链接：", Base_url + ele.select(".news_entry a")[0].get("href")) print("发布时间：", ele.select(".entry_footer span.gray")[0].text.strip()) print("标签：", *[e.text.strip() for e in ele.select(".entry_footer span.tag a")]) print(ele.select(".entry_footer span.view")[0].text) print("=" * 50) # 部分打印内容 """ 标题： 马云澳洲见老朋友，43年前曾在西湖边合影 作者： itwriter 链接： https://news.cnblogs.com/n/736836/ 发布时间： 2023-02-19 14:02 标签： 马云 33 人浏览 ================================================== 标题： 微软必应计划在AI搜索中引入广告模式 或于3月公布细节 作者： itwriter 链接： https://news.cnblogs.com/n/736835/ 发布时间： 2023-02-19 13:55 标签： bing 7 人浏览 ================================================== 标题： 中国工程院院士王坚：我国已具备支撑ChatGPT发展的算力基础 作者： itwriter 链接： https://news.cnblogs.com/n/736834/ 发布时间： 2023-02-19 13:47 标签： 王坚 13 人浏览 ================================================== 标题： 微软将把必应聊天回复限制在 5 条以内，以防人工智能越界 作者： itwriter 链接： https://news.cnblogs.com/n/736833/ 发布时间： 2023-02-19 13:40 标签： bing 7 人浏览 ================================================== 标题： 设计师编辑成ChatGPT用户主力！程序员仅占4.4% 作者： itwriter 链接： https://news.cnblogs.com/n/736832/ 发布时间： 2023-02-19 13:35 标签： ChatGPT 9 人浏览 ================================================== """ 

学习练习使用，切勿过度爬取