会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132452个问题
Python 全系列/第十五阶段:Python 爬虫开发/移动端爬虫开发- 35761楼
JAVA 全系列/第七阶段:生产环境部署与协同开发/Linux 35762楼
JAVA 全系列/第六阶段:项目管理与SSM框架/SpringMVC 35763楼
Python 全系列/第一阶段:Python入门/编程基本概念 35764楼
JAVA 全系列/第二阶段:JAVA 基础深化和提高/手写服务器项目(旧) 35766楼
JAVA 全系列/(旧的隐藏)第二十一阶段:百战商城项目(Spring Cloud最新架构)/百战商城项目 35770楼
WEB前端全系列/第七阶段:ECMAScript6新特性模块/ES6第一部分 35772楼
JAVA 全系列/第六阶段:项目管理与SSM框架/SpringMVC旧 35773楼

老师,我爬取糗事百科前三页的结果是这样的,是什么情况?

!DOCTYPE html
PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="X-UA-Compatible" content="chrome=1,IE=edge">
<meta name="renderer" content="webkit" />
<meta name="applicable-device" content="pc">



<meta name="domain_verify" content="pmrgi33nmfuw4ir2ejyws5ltnbuweyljnnss4y3pnurcyithovuwiir2ejqwmyrtguzdgobsmezdgnbyheywcmzthbrdmmtemu4tamrqg5rtmirmej2gs3lfknqxmzjchiytkmrzgq4demjugaydcnd5">

附上代码:

from urllib.request import urlopen,Request
from urllib.parse import quote
def get_html(url):
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
    }
    response=Request(url,headers=headers)
    info=urlopen(response)
    content=info.read().decode()
    return content
def save_html(content,filename):
    with open('./爬虫结果/'+filename+'.html','w',encoding='utf-8') as f:  #'r'模式用'gbk'编码,'w'模式用'utf-8'编码
        f.write(content)
def main():
    num=3
    url0=url='https://www.qiushibaike.com/8hr/page/{}/'
    for i in range(num):
        url=url0.format(i+1)
        html=get_html(url)
        filename='糗事百科的第{}页内容'.format(i+1)
        save_html(html,filename)
if __name__=='__main__':
    main()


Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础(旧) 35774楼
JAVA 全系列/第二阶段:JAVA 基础深化和提高/容器 35775楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637