如何利用 Beautiful Soup 爬取网页数据
本文共 1477 字，大约阅读时间需要 4 分钟。
定义
Python中的一个库，主要用于从网页爬取数据；
安装
pip install beautifulsoup4四大对象
Beautiful Soup将复杂的HTML文档转换成树形结构，树中的每个节点都是Python对象，对象可归纳为以下4种；
Tag
同XML或HTML中的标签tag相同，tag属性可被增删修改，操作方法和字典一样，最常用的属性如下；
- name
- attributes
NavigableString
获取标签之后，用于获取标签内部的文字；
BeautifulSoup
表示一个文档的全部内容，大多数情况下都可以将它当作Tag对象，是一个特殊的Tag对象，可用于分别获取其类型、名称及属性；
Comment
Comment是一个中枢类型的NavigableString对象，输出内容不含注释符号；
#!/usr/bin/python3# -*- coding:utf-8 -*-# @Time : 2018-11-16 10:30# @Author : Manu# @Site : # @File : beautiful_soup.py# @Software: PyCharmfrom bs4 import BeautifulSouphtml = """<html><head><title>村雨</title></head><body><p class="title" name="blog"><b>村雨的博客</b></p><li><!--注释--></li><a href="https://blog.csdn.net/github_39655029/article/details/83933199" target="_blank"> <span class="article-type type-1"> 原 </span> Python爬虫之网络请求 </a><a href="https://blog.csdn.net/github_39655029/article/details/84100458" target="_blank"> <span class="article-type type-1"> 原 </span> 爬虫实践--豆瓣电影当前上映电影信息爬取 </a> </body></html>"""soup = BeautifulSoup(html, 'lxml')print(soup.name)print(soup.title.name)print(soup.prettify())# 获取titleprint('title:', soup.title.text)# 获取headprint('p:', soup.p.text)a_list = soup.a.attrsprint(a_list.get('href'))# 获取Title标签的文字内容print(soup.title.string)# 获取对象名称print(soup.name)# 获取对象属性print(soup.attrs)# 获取对象类型print(type(soup.name))if type(soup.li.string) == element.Comment: print('comment:', soup.li.string)
你可能感兴趣的文章
androidstudio同步的时候下载jcenter的库出错解决办法
查看>>
ButterKnife使用问题
查看>>
项目中的技术债
查看>>
React学习笔记（一）
查看>>
低代码平台快速开发小程序
查看>>
vue学习笔记
查看>>
低代码后续发展路线图
查看>>