为啥刚才还能爬取成功  然后下一秒重新运行就爬取不成功了？

import scrapy


class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['douban.com']
    start_urls = ['https://movie.douban.com/top250?start=50&filter=']

    def parse(self, response):
        names = response.xpath('//div[@class="hd"]/a/span[1]/text()').getall()
        scores = response.xpath('//span[@class="rating_num"]/text()').extract()

        # 保存数据
        for name,score in zip(names,scores):
            yield {
                'name':name,
                'score':score
            }

老师，我这个为什么生成器生成不了

终端代码是这个

(spider_env) D:\Pycharm开发环境\scrapy04\scrapy04>scrapy crawl douban2 -o douban2.json -t json

D:\Python_env\spider_env\lib\site-packages\scrapy\commands\__init__.py:131: ScrapyDeprecationWarning: The -t command line option is deprecated i

n favor of specifying the output format within the output URI. See the documentation of the -o and -O options for more information.

  feeds = feed_process_params_from_cli(

D:\Python_env\spider_env\lib\site-packages\scrapy\spiderloader.py:37: UserWarning: There are several spiders with the same name:

  DoubanSpider named 'douban' (in scrapy04.spiders.douban)

  DoubanSpider named 'douban' (in scrapy04.spiders.douban2)

  This can cause unexpected behavior.

  warnings.warn(

2022-09-23 10:17:11 [scrapy.utils.log] INFO: Scrapy 2.6.2 started (bot: scrapy04)

2022-09-23 10:17:11 [scrapy.utils.log] INFO: Versions: lxml 4.9.1.0, libxml2 2.9.12, cssselect 1.1.0, parsel 1.6.0, w3lib 2.0.1, Twisted 22.8.0,

 Python 3.9.7 (tags/v3.9.7:1016ef3, Aug 30 2021, 20:19:38) [MSC v.1929 64 bit (AMD64)], pyOpenSSL 22.0.0 (OpenSSL 3.0.5 5 Jul 2022), cryptograph

y 38.0.1, Platform Windows-10-10.0.22000-SP0

Traceback (most recent call last):

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\spiderloader.py", line 75, in load

    return self._spiders[spider_name]

KeyError: 'douban2'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

  File "D:\Program Files\Python39\lib\runpy.py", line 197, in _run_module_as_main

    return _run_code(code, main_globals, None,

  File "D:\Program Files\Python39\lib\runpy.py", line 87, in _run_code

    exec(code, run_globals)

  File "D:\Python_env\spider_env\Scripts\scrapy.exe\__main__.py", line 7, in <module>

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\cmdline.py", line 154, in execute

    _run_print_help(parser, _run_command, cmd, args, opts)

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\cmdline.py", line 109, in _run_print_help

    func(*a, **kw)

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\cmdline.py", line 162, in _run_command

    cmd.run(args, opts)

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\commands\crawl.py", line 22, in run

    crawl_defer = self.crawler_process.crawl(spname, **opts.spargs)

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\crawler.py", line 204, in crawl

    crawler = self.create_crawler(crawler_or_spidercls)

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\crawler.py", line 237, in create_crawler

    return self._create_crawler(crawler_or_spidercls)

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\crawler.py", line 312, in _create_crawler

    spidercls = self.spider_loader.load(spidercls)

  File "D:\Python_env\spider_env\lib\site-packages\scrapy\spiderloader.py", line 77, in load

    raise KeyError(f"Spider not found: {spider_name}")

KeyError: 'Spider not found: douban2'

再出个爬取视频的就全了，，，，，，，，，

这个地方会爬取第二页数据吗？老师写的好像有问题

有一个问题，就是如果遇到这种网站的话，登录后，再用爬虫爬取其他页面的话，是需要使用到splash控制浏览器到相应界面，还是在下面直接跟页面链接就行。希望出一个爬去验证过后，浏览器里面其他的页面操作

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver import ChromeOptions
from time import sleep

# 将浏览器设置为无头模式
def test_headless():
    # 设置参数，将浏览器设置为无头浏览器
    option = ChromeOptions()  # 设置属性
    option.add_argument('--headless')  # 增加内容

    # 设置驱动
    s = Service(executable_path='./chromedriver.exe')
    # 启动Chrome浏览器
    driver = webdriver.Chrome(service=s,options=option)
    # 访问页面
    driver.get('http://www.baidu.com')
    # 打印代码
    print(driver.page_source)
    # 关闭浏览器
    driver.quit()


# 给浏览器增加代理
def test_proxy1():
    # 设置参数，将浏览器设置为无头浏览器
    option = ChromeOptions()
    # 设置属性option.add_argument('--proxy-server=ip:port')
    option.add_argument('--proxy-server=http://221.199.36.122:35414')  # 增加内容

    # 设置驱动
    s = Service(executable_path='./chromedriver.exe')
    # 启动Chrome浏览器
    driver = webdriver.Chrome(service=s,options=option)
    # 访问页面
    driver.get('http://httpbin.org/get')
    # 打印代码
    print(driver.page_source)
    # 关闭浏览器
    driver.quit()


# 防止检测
def test_find():
    # 老版
    options = ChromeOptions()
    options.add_experimental_option('excludeSwitches', ['enable - automation'])
    options.add_experimental_option('useAutomationExtension', False)

    # 新版
    chrome = webdriver.Chrome(chrome_options=options)
    chrome.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
       Object.defineProperty(navigator,
    'webdriver', {
       get: () => false
       })
     """
    })
    chrome.get('http://httpbin.org/get')
    info = chrome.page_source
    print(info)
    sleep(100)



if __name__ == '__main__':
    test_find()

是这样的

真是费劲，装个docker网上找了弄半天

我希望出一个windows安装docker的教学视频

def test_proxy1():
    # 设置参数，将浏览器设置为无头浏览器
    option = ChromeOptions()
    # 设置属性option.add_argument('--proxy-server=ip:port')
    option.add_argument('--proxy-server=http://221.199.36.122:35414')  # 增加内容

    # 设置驱动
    s = Service(executable_path='./chromedriver.exe')
    # 启动Chrome浏览器
    driver = webdriver.Chrome(service=s,options=option)
    # 访问页面
    driver.get('http://httpbin.org/get')
    # 打印代码
    print(driver.page_source)
    # 关闭浏览器
    driver.quit()

为什么我这一段打印出来内容很多，没有找到ip地址

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from time import sleep

def test_element():
    # 创建浏览器驱动对象
    s = Service(executable_path='./chromedriver.exe')
    # 创建Chrome浏览器
    driver = webdriver.Chrome(service=s)
    # 访问bing网站
    driver.get('https://cn.bing.com/')
    sleep(1)
    # 定位搜索框，输入要搜索的内容
    driver.find_element(By.ID,'sb_from_q').send_keys("百战")
    sleep(1)
    # 定位搜索按钮 ， 点击搜索按钮
    driver.find_element(By.ID,'search_icon').click()
    sleep(1)
    # 关闭浏览器
    driver.quit()

if __name__ == '__main__':
    test_element()

这个我运行了，下面就出错了，网页不会输入  百战 并且搜索，这是为什么呀

老师在安装一些库的时候下载实在是太慢了，建议写文档的时候加上一个

国内的镜像源，这是我常用的清华镜像源：https://pypi.tuna.tsinghua.edu.cn/simple

# 开发工具是pycharm
import re 
import requests
from fake_useragent import UserAgent

url = '}
resp = requests.get(url, headers=headers) 
with open('tem.html','wb') as f:
    f.write(resp.content)
 """
 运行我的代码后保存本地的html文件中，就没有中文乱码，是不是我和
 老师的保存方式不同，而和老师的结果有偏差？
 """

import requests
from fake_useragent import UserAgent
from jsonpath import jsonpath
import json

url = 'https://www.lagou.com/lbs/getAllCitySearchLabels.json'
headers = {'User-gent':UserAgent().chrome}
resp = requests.get(url,headers=headers)
# print(resp.text)

obj = json.loads(resp.text)

ids = jsonpath(obj,"$..id")  #  第一个参数是obj对象，第二个是参数是jsonpath表达式
names = jsonpath(obj,'$..name')

for i,n in zip(ids,names):
    print(i,n)

我这个代码为什么报错呀，打印不出来

老师用的什么插件进行提示的

电影也爬不下来