有效沟通问答-【官方】百战程序员_IT在线教育培训机构

会员可以在此提问，百战程序员老师有问必答

对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题，会帮你学得更全面

截止目前，同学们一共提了 133306个问题

老师，我爬取糗事百科前三页的结果是这样的，是什么情况？

!DOCTYPE html
PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="X-UA-Compatible" content="chrome=1,IE=edge">
<meta name="renderer" content="webkit" />
<meta name="applicable-device" content="pc">



<meta name="domain_verify" content="pmrgi33nmfuw4ir2ejyws5ltnbuweyljnnss4y3pnurcyithovuwiir2ejqwmyrtguzdgobsmezdgnbyheywcmzthbrdmmtemu4tamrqg5rtmirmej2gs3lfknqxmzjchiytkmrzgq4demjugaydcnd5">

附上代码：

from urllib.request import urlopen,Request
from urllib.parse import quote
def get_html(url):
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
    }
    response=Request(url,headers=headers)
    info=urlopen(response)
    content=info.read().decode()
    return content
def save_html(content,filename):
    with open('./爬虫结果/'+filename+'.html','w',encoding='utf-8') as f:  #'r'模式用'gbk'编码，'w'模式用'utf-8'编码
        f.write(content)
def main():
    num=3
    url0=url='https://www.qiushibaike.com/8hr/page/{}/'
    for i in range(num):
        url=url0.format(i+1)
        html=get_html(url)
        filename='糗事百科的第{}页内容'.format(i+1)
        save_html(html,filename)
if __name__=='__main__':
    main()

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 1021楼

登录的时候不是要拖拽那个图片进行验证吗，这个时候是不是可以用呢

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础 1022楼

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础 1023楼

老师我为啥下载这么慢，怎么解决啊

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用 1024楼

老师，请问这个第一步创建项目要怎样才能出现那个spider的目录结构啊

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用（旧） 1025楼

老师，查找scrapyd的安装目录还有个更简单的方法， find / -name scrapyd

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬 1026楼

老师，是因为不能获取这种链接吗？，为什么包这个错啊？

Python 全系列/第十五阶段：Python 爬虫开发/scrapy 框架高级 1027楼

2021-03-20T07:43:45.126+0800 [initandlisten] MongoDB starting : pid=6844 port=27017 dbpath=d:\mongodb_64\db 64-bit host=LAPTOP-MSSFAU8A

2021-03-20T07:43:45.130+0800 [initandlisten] targetMinOS: Windows 7/Windows Server 2008 R2

2021-03-20T07:43:45.132+0800 [initandlisten] db version v2.6.5

2021-03-20T07:43:45.132+0800 [initandlisten] git version: e99d4fcb4279c0279796f237aa92fe3b64560bf6

2021-03-20T07:43:45.132+0800 [initandlisten] build info: windows sys.getwindowsversion(major=6, minor=1, build=7601, platform=2, service_pack='Service Pack 1') BOOST_LIB_VERSION=1_49

2021-03-20T07:43:45.132+0800 [initandlisten] allocator: system

2021-03-20T07:43:45.132+0800 [initandlisten] options: { storage: { dbPath: "d:\mongodb_64\db" } }

2021-03-20T07:43:45.132+0800 [initandlisten] exception in initAndListen: 10296

*********************************************************************

ERROR: dbpath (d:\mongodb_64\db) does not exist.

Create this directory or give existing directory in --dbpath.

See http://dochub.mongodb.org/core/startingandstoppingmongo

*********************************************************************

, terminating

2021-03-20T07:43:45.133+0800 [initandlisten] dbexit:

2021-03-20T07:43:45.133+0800 [initandlisten] shutdown: going to close listening sockets...

2021-03-20T07:43:45.133+0800 [initandlisten] shutdown: going to flush diaglog...

2021-03-20T07:43:45.133+0800 [initandlisten] shutdown: going to close sockets...

2021-03-20T07:43:45.133+0800 [initandlisten] shutdown: waiting for fs preallocator...

2021-03-20T07:43:45.133+0800 [initandlisten] shutdown: lock for final commit...

2021-03-20T07:43:45.133+0800 [initandlisten] shutdown: final commit...

2021-03-20T07:43:45.134+0800 [initandlisten] shutdown: closing all files...

2021-03-20T07:43:45.135+0800 [initandlisten] closeAllFiles() finished

2021-03-20T07:43:45.135+0800 [initandlisten] dbexit: really exiting now

老师请问一下，为什么我这里是连接失败，我的命令都和老师输入的一样

Python 全系列/第十五阶段：Python 爬虫开发/爬虫数据存储 1028楼

这个etree是什么作用

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础 1029楼

能帮忙看看哪里有问题吗哪里有问题

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用 1030楼

求同款科学上网工具~~~

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 1031楼

老师你好，怎么开启docker服务

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用 1032楼

这个老师的视频的声音都太小了

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬 1033楼

请问下如果手动stop程序，close_spider()就不会执行了？

Python 全系列/第十五阶段：Python 爬虫开发/移动端爬虫开发- 1034楼

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用 1035楼

同学您好