分享：利用Scrapy框架爬取数据命令行保存成csv出现乱码的解决办法

老师，麻烦帮忙看一下我的代码：

源码：

老师，我在执行代码时发现滚动条没拉到最底端，最后一行代码显示数量明显不对，代码如下，麻烦老师帮忙分析下，谢谢！

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
from selenium import webdriver
from time import sleep
from lxml import etree
'''
例子：百度图片
但是这个案例没实现把滚动条拉到最下端
'''
driver = webdriver.Chrome()
driver.get('https://image.baidu.com/')
driver.find_element_by_id('kw').send_keys('成吉思汗')
driver.find_element_by_class_name('s_search').click()
js = 'document.documentElement.scrollTop=1000000'
# js = 'window.scrollTo(0,1000000)'
driver.execute_script(js)
sleep(5)
html = driver.page_source
e = etree.HTML(html)
imgurl_list = e.xpath('//li[@class="imgitem"]/div/a/img/@data-imgurl')
linkurl_list = ['https://image.baidu.com{}'.format(url) for url in e.xpath('//li[@class="imgitem"]/div/a/@href')]
for imgurl,linkurl in zip(imgurl_list,linkurl_list):
    print(imgurl,'|',linkurl)
driver.quit()
print(len(linkurl_list))

老师，scrapy可以像requests.session一样会话保持吗？

一直这样   别的版本都试过   都不行   

保存地址的name为空，还望老师看一下，使用视频老师的讲解会报 TypeError: unsupported operand type(s) for +: 'set' and 'str' 错误，所以自己写成了这样

这种的   深层次爬取怎么搞，，，，，。

每个类后，为什么有的加括号  有的不加括号，什么情况加什么情况不加

class Dataoutput():
class Scheduler:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.request import ProxyHandler

url = 'http://httpbin.org/get'
headers = {'User-Agent':UserAgent().chrome}
request = Request(url,headers=headers)
# 使用代理的两种方式
# handler = ProxyHandler({"http":"ip:port"})
# handler = ProxyHandler({"http":"name:password@ip:port"})
handler = ProxyHandler({'http':'27.46.20.189:8888'})
# handler = ProxyHandler({"http": "398707160:j8inhg2g@39.105.117.225:16818"})
opener = build_opener(handler)
response = opener.open(request)
print(response.read().decode())

运行结果：

为什么结果中"origin"的值有两个，而且跟代理的ip不一样

使用proxy下载中间件之后，没有执行爬虫文件

老师这是什么情况，一直安装不了，python3 setup.py install 

老师，我在配置网络的时候，不能够成功，我卸载重新安装也是不行。这是为什么呢？

老师,mongodb中怎么获取所有的字段名呢？