对于像虎牙这种直播网，点击下一页后，url不变，多线程爬取又该如何实现呢？？？

我为什么把SwitchyOmega一拖进来就提示程序包无效

  老师您好，请教几个个非技术性问题：

  （1）就是爬虫学到哪了程度了可以尝试去找工作？是否需要比较精才可以？

     简单介绍一下自己的情况，现在已经学完了爬虫课程，可以登录一些网站爬取信息（主要用的还是cookies登录，验证码登录时而成功时而失败）并保存，scrapy基本操作会了，但真正编写爬虫的时候需要时不时翻阅资料。

     简单概括就是，基本会登录网站爬取数据简单处理之后报存在数据库。

  （2）另外还想问一下，企业爬虫一般用那种登录方式比较多，个人感觉是cookies，不知道是否正确？

  （3）我个人是想往爬虫方向发展的，网络编程基础只学了html、css、javascript，没学框架，这样学习是否合理？

  （4）除了尚学堂的课程，请老师推荐精通爬虫的书籍。

   期待回复，谢谢。

无法安装xpath，将文件拖动到开发者工具界面，显示程序包无效，网上搜的几种方式也尝试了，没反应

我这个"origin": "180.110.24.124, 180.110.24.124",为什么会有两个一样的ip打印出来？会对高匿有影响么？

from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.request import ProxyHandler

url = 'http://httpbin.org/get'

headers = {'User-Agent':UserAgent().chrome}
req = Request(url,headers=headers)

handler = ProxyHandler({"http":"180.110.24.124:3456"})
opener = build_opener(handler)
resp = opener.open(req)
print(resp.read().decode())

cookie一定要有该网站的账号和密码后，才能获得吗？

问题一：代码区域的搜索快捷键是什么？

问题二：运行结果区域的搜索快捷键是什么？shift+Ctrl+F7吗？

问题三：老师用的查看md文件的软件叫什么？

这个是怎么出现的

自己电脑 没法打开 urlopen

老师，本阶段资料下载  里面没有MongoDB的文档呢，可以分享一下吗？

请问下如果手动stop程序，close_spider()就不会执行了？

在crawlspider中pipeline会复用吗？

老师，可以多来点linux安装教程吗？？？？？？？？？？？？？？？

老师，有验证码的怎么ban呢？？？？？？？？？？？？？？？？？？？？？？？？？？？？

希望老师分享一下有道云笔记内容，谢谢，想参考的学习一下

老师，能否将课件共享一下，视频讲的有点快，想看一下文字描述