会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132647个问题
Python 全系列/第十六阶段:Python 爬虫开发/移动端爬虫 1021楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 1023楼
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 1026楼

image.png

Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 1027楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 1028楼
Python 全系列/第十六阶段:Python 爬虫开发/移动端爬虫开发- 1029楼

老师,我爬取糗事百科前三页的结果是这样的,是什么情况?

!DOCTYPE html
PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="X-UA-Compatible" content="chrome=1,IE=edge">
<meta name="renderer" content="webkit" />
<meta name="applicable-device" content="pc">



<meta name="domain_verify" content="pmrgi33nmfuw4ir2ejyws5ltnbuweyljnnss4y3pnurcyithovuwiir2ejqwmyrtguzdgobsmezdgnbyheywcmzthbrdmmtemu4tamrqg5rtmirmej2gs3lfknqxmzjchiytkmrzgq4demjugaydcnd5">

附上代码:

from urllib.request import urlopen,Request
from urllib.parse import quote
def get_html(url):
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
    }
    response=Request(url,headers=headers)
    info=urlopen(response)
    content=info.read().decode()
    return content
def save_html(content,filename):
    with open('./爬虫结果/'+filename+'.html','w',encoding='utf-8') as f:  #'r'模式用'gbk'编码,'w'模式用'utf-8'编码
        f.write(content)
def main():
    num=3
    url0=url='https://www.qiushibaike.com/8hr/page/{}/'
    for i in range(num):
        url=url0.format(i+1)
        html=get_html(url)
        filename='糗事百科的第{}页内容'.format(i+1)
        save_html(html,filename)
if __name__=='__main__':
    main()


Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础(旧) 1030楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 1031楼

图片.png

Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 1032楼
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 1033楼
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用(旧) 1034楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫反反爬 1035楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637