老师，分布式的3种写法中，我怎么感觉第一种写法要修改的代码最少，最容易理解，执行效率最高，不需要麻烦的手动lpush操作。其次是第二种写法。至于第三种写法，我怎么感觉crawlspider的方式并不比spider好用

分享，解决centos6.8上安装Twisted-19.7.0报错"ModuleNotFoundError: No module named '_ctypes'"的方法参考网上解决办法：

1. 安装外部函数库(libffi)

   yum install libffi-devel -y
   

2. 重新安装python

3. 用pip3 Install 安装需要的包

   再次报错：distutils.errors.DistutilsError: Could not find suitable distribution for Requirement.parse('incremental>=16.10.1')

参考网上解决办法：

yum install -y epel-release
yum install -y python-pip
pip3 install incremental -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('attrs>=17.4.0')

解决办法

pip3 install attrs -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('PyHamcrest>=1.9.0')

pip3 install PyHamcrest -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('hyperlink>=17.1.1')

pip3 install hyperlink -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('Automat>=0.3.0')

pip3 install Automat -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip3 install constantly -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip3 install zope.interface -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

执行上述操作后：linux界面提示Finished processing dependencies for Twisted==19.7.0

老师，你的示范中有一个操作，pycharm中多行代码的同一纵坐标出现一道分割线，然后就可以删除掉多行分割线前的内容，请问你用的快捷键是什么？

老师，猫眼电影页面的观看人数提取不出来，爬取的结果中’人想看‘前面的数字也显示不出来，第二次再爬取的时候直接被它的反爬给干掉了

源码：

老师，上传的资料里没有mongo的资料，麻烦上传一下吧！

问题描述：

爬取图片时出现未知错误，KeyError: 'image_url'，对了一下老师写的代码和度娘了一下，发现解决不了，希望老师帮忙看看是哪出错了。

代码zip：

求教啊，老师，解压软件也换了好几个，网上搜索的资源下载下来的也不能用。

老师，我的SwitchyOmega安装好后，打开选项卡怎么是空白啊？

分享：利用Scrapy框架爬取数据命令行保存成csv出现乱码的解决办法

老师，麻烦帮忙看一下我的代码：

源码：

老师，我在执行代码时发现滚动条没拉到最底端，最后一行代码显示数量明显不对，代码如下，麻烦老师帮忙分析下，谢谢！

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
from selenium import webdriver
from time import sleep
from lxml import etree
'''
例子：百度图片
但是这个案例没实现把滚动条拉到最下端
'''
driver = webdriver.Chrome()
driver.get('https://image.baidu.com/')
driver.find_element_by_id('kw').send_keys('成吉思汗')
driver.find_element_by_class_name('s_search').click()
js = 'document.documentElement.scrollTop=1000000'
# js = 'window.scrollTo(0,1000000)'
driver.execute_script(js)
sleep(5)
html = driver.page_source
e = etree.HTML(html)
imgurl_list = e.xpath('//li[@class="imgitem"]/div/a/img/@data-imgurl')
linkurl_list = ['https://image.baidu.com{}'.format(url) for url in e.xpath('//li[@class="imgitem"]/div/a/@href')]
for imgurl,linkurl in zip(imgurl_list,linkurl_list):
    print(imgurl,'|',linkurl)
driver.quit()
print(len(linkurl_list))

老师，scrapy可以像requests.session一样会话保持吗？

一直这样   别的版本都试过   都不行   

保存地址的name为空，还望老师看一下，使用视频老师的讲解会报 TypeError: unsupported operand type(s) for +: 'set' and 'str' 错误，所以自己写成了这样

这种的   深层次爬取怎么搞，，，，，。