Email:xpjco@foxmail.com
精准采集官网-精准客源-邀请码代理-十年专注目标客户资源数据采集
当前位置:网站首页 > 行业资讯 正文 行业资讯

如何用python爬取网站数据?

fctime.cn 2021-12-02 行业资讯 82 ℃ 0 评论

这里简单介绍一下吧网页数据抓取,以抓取网站静态、动态2种数据为例,实验环境win10+Python3.6+pycharm5.0,主要内容如下:

抓取网站静态数据(数据在网页源码中):以糗事百科网站数据为例

1.这里假设我们抓取的数据如下网页数据抓取,主要包括用户昵称、内容、好笑数和评论数这4个字段,如下:

对应的网页源码如下网页数据抓取,包含我们所需要的数据:

2.对应网页结构网页数据抓取,主要代码如下,很简单,主要用到requests+BeautifulSoup,其中requests用于请求页面,BeautifulSoup用于解析页面:

程序运行截图如下网页数据抓取,已经成功爬取到数据:

如何用python爬取网站数据? Python 网页数据抓取 第1张 如何用python爬取网站数据? 行业资讯

抓取网站动态数据(数据不在网页源码中网页数据抓取,json等文件中):以人人贷网站数据为例

1.这里假设我们爬取的是债券数据网页数据抓取,主要包括年利率、借款标题、期限、金额和进度这5个字段信息,截图如下:

打开网页源码中网页数据抓取,可以发现数据不在网页源码中,按F12抓包分析时,才发现在一个json文件中,如下:

如何用python爬取网站数据? Python 网页数据抓取 第2张 如何用python爬取网站数据? 行业资讯

2.获取到json文件的url后网页数据抓取,我们就可以爬取对应数据了,这里使用的包与上面类似,因为是json文件,所以还用了json这个包(解析json),主要内容如下:

程序运行截图如下网页数据抓取,已经成功抓取到数据:

至此,这里就介绍完了这2种数据的抓取,包括静态数据和动态数据网页数据抓取。总的来说,这2个示例不难,都是入门级别的爬虫,网页结构也比较简单,更重要的还是要会进行抓包分析,对页面进行分析提取,后期熟悉后,可以借助scrapy这个框架进行数据的爬取,可以更方便一些,效率更高,当然,如果爬取的页面比较复杂,像验证码、加密等,这时候就需要认真分析了,网上也有一些教程可供参考,感兴趣的可以搜一下,希望以上分享的内容能对你有所帮助吧。

本文标签:Python网页数据抓取

版权说明:如非注明,本站文章均为 精准采集官网 原创,转载请注明出处和附带本文链接

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

搜索
«    2022年5月    »
1
2345678
9101112131415
16171819202122
23242526272829
3031
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
标签列表
最新留言
友情链接
  • 精准采集APP,精准人脉大师
  • 订阅本站的 RSS 2.0 新闻聚合
Copyright © 2016-2021 fctime.cn 精准采集 DJY团队. Powered By Z-Blog,xpjco@foxmail.com Some Rights Reserved.
精准采集   精准客源

赞助广告×