from selenium import webdriver
from time import sleep


# 构造浏览器
chrome = webdriver.Chrome()
# 发送请求访问，url
chrome.get(
    'https://yys.cbg.163.com/cgi/mweb/pl/role?view_loc=equip_list')
js= 'chrome.document.documentElement.scrollTop=10000'
chrome.execute_script(js)
sleep(5)

#输入要搜索的内容
qf = chrome.find_elements_by_class_name('icon-text')
jg = chrome.find_elements_by_class_name('price')
sc = chrome.find_elements_by_class_name('collect')
ssr = chrome.find_elements_by_class_name('base')
for qfs,jgs,scs,ssrs in zip(qf,jg,sc,ssr):
    print(qfs.text,jgs.text,scs.text,ssrs.text)

Traceback (most recent call last):

  File "E:/untitled1/爬虫/数据提取/", line 11, in <module>

    chrome.execute_script(js)

  File "E:\untitled1\venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 636, in execute_script

    'args': converted_args})['value']

  File "E:\untitled1\venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute

    self.error_handler.check_response(response)

  File "E:\untitled1\venv\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response

    raise exception_class(message, screen, stacktrace)

selenium.common.exceptions.JavascriptException: Message: javascript error: Cannot read property 'documentElement' of undefined

  (Session info: chrome=81.0.4044.138)

Process finished with exit code 1

我添加了滚动条代码就一直报这个错误 删除滚动条代码一切正常

scrapy crawl douban2 -o douban.json -t json

老师，执行指令没用啊 不生成文件

老师 ，我按着 scrapy crawl zongheng -o book.json 的形式运行，最后只得出一个数据，是什么原因？

Traceback (most recent call last):
  File "f:\code\spider\scrapy\scrapy03\scrapy03\begin.py", line 1, in <module>
    from scrapy.cmdline import execute
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\__init__.py", line 15, in <module>        
    from scrapy.spiders import Spider
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\spiders\__init__.py", line 99, in <module>
    from scrapy.spiders.crawl import CrawlSpider, Rule
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\spiders\crawl.py", line 15, in <module>   
    from scrapy.utils.spider import iterate_spider_output
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\utils\spider.py", line 5, in <module>
    from scrapy.utils.defer import deferred_from_coro
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\utils\defer.py", line 33, in <module>
    from scrapy.utils.reactor import _get_asyncio_event_loop, is_asyncio_reactor_installed
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\utils\reactor.py", line 8, in <module>
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\asyncioreactor.py", line 19, in <module>
    from twisted.internet.posixbase import (
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\posixbase.py", line 16, in <module>
    from twisted.internet import error, tcp, udp
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\tcp.py", line 38, in <module>
    from twisted.internet._newtls import (
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\_newtls.py", line 18, in <module>
    from twisted.protocols.tls import TLSMemoryBIOFactory, TLSMemoryBIOProtocol
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\protocols\tls.py", line 42, in <module>
    from OpenSSL.SSL import Connection, Error, SysCallError, WantReadError, ZeroReturnError
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\OpenSSL\__init__.py", line 8, in <module>
    from OpenSSL import SSL, crypto
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\OpenSSL\SSL.py", line 19, in <module>
    from OpenSSL.crypto import (
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\OpenSSL\crypto.py", line 3263, in <module>
    utils.deprecated(
TypeError: deprecated() got an unexpected keyword argument 'name'
PS F:\code\spider\scrapy\scrapy03> & D:/Users/W9020478/AppData/Local/Programs/Python/Python311/python.exe f:/code/spider/scrapy/scrapy03/scrapy03/begin.py
Traceback (most recent call last):
  File "f:\code\spider\scrapy\scrapy03\scrapy03\begin.py", line 1, in <module>
    from scrapy.cmdline import execute
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\__init__.py", line 15, in <module>
    from scrapy.spiders import Spider
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\spiders\__init__.py", line 99, in <module>
    from scrapy.spiders.crawl import CrawlSpider, Rule
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\spiders\crawl.py", line 15, in <module>
    from scrapy.utils.spider import iterate_spider_output
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\utils\spider.py", line 5, in <module>
    from scrapy.utils.defer import deferred_from_coro
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\utils\defer.py", line 33, in <module>
    from scrapy.utils.reactor import _get_asyncio_event_loop, is_asyncio_reactor_installed
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\utils\reactor.py", line 8, in <module>
    from twisted.internet import asyncioreactor, error
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\asyncioreactor.py", line 19, in <module>
    from twisted.internet.posixbase import (
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\posixbase.py", line 16, in <module>
    from twisted.internet import error, tcp, udp
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\tcp.py", line 38, in <module>
    from twisted.internet._newtls import (
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\internet\_newtls.py", line 18, in <module>
    from twisted.protocols.tls import TLSMemoryBIOFactory, TLSMemoryBIOProtocol
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\twisted\protocols\tls.py", line 42, in <module>
    from OpenSSL.SSL import Connection, Error, SysCallError, WantReadError, ZeroReturnError
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\OpenSSL\__init__.py", line 8, in <module>
    from OpenSSL import SSL, crypto
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\OpenSSL\SSL.py", line 19, in <module>
    from OpenSSL.crypto import (
  File "D:\Users\W9020478\AppData\Local\Programs\Python\Python311\Lib\site-packages\OpenSSL\crypto.py", line 3263, in <module>
    utils.deprecated(
TypeError: deprecated() got an unexpected keyword argument 'name'

不知道总是报这个错误，其他都跟老师打的一样

老师这个载荷被重定向了，然后我登录页面载荷就只找到了

1. username:

   150xxxxxxxxxx

2. password:

   123456

3. login_type:

   1

4. remember:

   1

老师，如您所说换一个网址就好了，但是试第二次的时候就又被拒绝了。

服务器拒绝爬虫后，咱还有什么办法么？

请问一下视频中除了baidu.com之外的那么多的请求是什么？是怎么来的？

解决了

Docker Quickstart Terminal 快捷方式绑定的git的bash.exe位置不对,导致找不到bash.exe-------右键,属性,修改快捷方式的连接位置(D:\software\Git\bin\bash.exe --login -i “D:\software\Docker Toolbox\start.sh”)中git的位置为真正的git的bash.exe(git/bin底下)的位置(出现这种原因往往是因为之前安装过git了.安装git时又没有选择默认路径)

————————————————

版权声明：本文为CSDN博主「followWindDog」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/qq_29660153/article/details/88708003

import scrapy

class BaiduSpider(scrapy.Spider):
    name = "baidu"
    allowed_domains = ["baidu.com"]
    start_urls = ["http://www.baidu.com"]

    def parse(self, response):
        print("*"*20)
        print(response.text)
        title = response.xpath('//title/text()')
        print('没有进行处理的')
        print(title)
        print("进行了处理")
        print(title.extract_first())

老师麻烦帮我讲一下三种登录方式的区别，尤其是前面两种方式，感觉没有太大区别啊，还想问一下如何区分该使用哪种登录方式呢？

问题： Request实例无法传递headers

python版本：3.8.0

pycharm版本：2019.2.3

1、代码：

from urllib.request import urlopen
from urllib.request import Request

url = 'http://www.baidu.com/'
# 定义user-agent 变量
headers = {
    'User-Agent': '123456'
}

# 封装request对象
req = Request(url,headers=headers)

resp = urlopen(url)

print(resp.read().decode())

2、分析

2.1 查看User-Agent

from urllib.request import urlopen
from urllib.request import Request

url = 'http://www.baidu.com/'
# 定义user-agent 变量
headers = {
    'User-Agent': '123456'
}

# 封装request对象
req = Request(url,headers=headers)
print(req.get_header('User-Agent'))

#
# resp = urlopen(url)
#
# print(resp.read().decode())

结果：

C:\Apps\Code\python3.8\python.exe D:/Datas/python/00尚学堂/code/12/spiders/02.request对象.py
None

Process finished with exit code 0

2.2 fiddler结果

所以，User-Agent对象不知道为什么无法传递进封装的request实例对象之中。

//ul[@class="layout-Cover-list"]/li[1]/h3[@class="DyListCover-intro"]/text()

这样写为什么获取不到ul下第一个li下面的h3的内容呢？

每个类后，为什么有的加括号  有的不加括号，什么情况加什么情况不加

class Dataoutput():
class Scheduler:

老师请问一下，我的scrapy已经使用pip安装好了，框架也已经创建好了，可是为什么还是提示我没有scrapy?scrapy下面线是红色的?