前面讲了代理要用到这个build_opener(),这里的cookie也要用到这个方法，两个都用要怎么写？

from fake_useragent import UserAgent
import requests
from lxml import etree

#发送请求
class Downloader():
    def do_download(self,url):
        print(url)
        headers = {"User-Agent":UserAgent.chrome}
        resp = requests.get(url,headers=headers)
        #如果=200，则发送请求成功
        if resp.status_code == 200:
            resp.encoding='utf-8'
            return resp.text

#数据解析
class Parser():
    def do_parse(self,html):
        e = etree.HTML(html)
        #将网页信息string化才能输出,strip()两边去除空格
        contents = [div.xpath('string').strip() for div in e.xpath( '//div[@class="content"]')]
        urls = ['https://www.qiushibaike.com{}'.format(url) for url in e.xpath('//ul[@class="pagination"]/li/a/@href')]
        return contents,urls

#数据保存
class DataOutPut():
    def do_save(self,datas):
        with open('duanzii.txt','a',encoding='utf-8') as f:
            for data in datas:
                f.write(data+'\n')

#url管理器
class URLManger():
    #初始化
    def __init__(self):
        #新旧url可以让自己更清晰的分辨
        self.new_url=set()
        self.old_url=set()
    #加入一个Url
    def add_new_url(self,url):
        #严谨url不能为空，不能为空字符串，也不能在爬取过的url里面
        if url is not None and url !='' and url not in self.old_url:
            self.new_url.add(url)
    #加入多个Url
    def add_new_urls(self,urls):
        for url in urls:
            # 判断，直接调用上面的方法
            url = self.add_new_url(url)

    #获取一个Url
    def get_new_url(self):
        # 取出一个url并删除，pop表示删除
        url = self.add_new_url.pop()
        # 将用完的url加入old中，用来判断是否用过
        self.old_url.add(url)
        return url
    #获取还有多少个Url要爬取
    def get_new_url_siaze(self):
          return len(self.new_url)
    #获取是否还有多少Url要爬取
    def have_new_url(self):
        return self.get_new_url_siaze() > 0

#数据调度器，调度四个个类
class Scheduler:
    def __init__(self):
        self.downloader = Downloader()
        self.paser = Parser()
        self.data_out_put = DataOutPut()
        self.url_manager = URLManger()
    def start(self,url):
        self.url_manager.add_new_url(url)
        while self.url_manager.have_new_url():
            #去除url
            url = self.url_manager.get_new_url()
            #下载
            html= self.downloader.do_download(url)
            #解析,data当前页面的数据,urls以及要爬取的数据
            datas,urls = self.paser.do_parse(html)
            #处理上一步的data
            self.data_out_put.do_save(datas)
            #处理上一步的urls
            self.url_manager.add_new_urls(urls)


if __name__=='__main__':
    scheduler = Scheduler()
    url = 'https://www.qiushibaike.com/text/'
    scheduler.start(url)

这是完整代码，pop还是不行

File "d:\software\programminglanauageenvironment\pytho3.8.6\lib\runpy.py", line 194, in _run_module_as_main

    return _run_code(code, main_globals, None,

  File "d:\software\programminglanauageenvironment\pytho3.8.6\lib\runpy.py", line 87, in _run_code

    exec(code, run_globals)

  File "D:\software\python_env\alway_env\Scripts\scrapy.exe\__main__.py", line 4, in <module>

  File "D:\software\python_env\alway_env\lib\site-packages\scrapy\__init__.py", line 12, in <module>

    from scrapy.spiders import Spider

  File "D:\software\python_env\alway_env\lib\site-packages\scrapy\spiders\__init__.py", line 93, in <module>

    from scrapy.spiders.crawl import CrawlSpider, Rule

  File "D:\software\python_env\alway_env\lib\site-packages\scrapy\spiders\crawl.py", line 14, in <module>

    from scrapy.utils.spider import iterate_spider_output

  File "D:\software\python_env\alway_env\lib\site-packages\scrapy\utils\spider.py", line 5, in <module>

    from scrapy.utils.defer import deferred_from_coro

  File "D:\software\python_env\alway_env\lib\site-packages\scrapy\utils\defer.py", line 24, in <module>

    from scrapy.utils.reactor import is_asyncio_reactor_installed

  File "D:\software\python_env\alway_env\lib\site-packages\scrapy\utils\reactor.py", line 5, in <module>

    from twisted.internet import asyncioreactor, error

  File "D:\software\python_env\alway_env\lib\site-packages\twisted\internet\asyncioreactor.py", line 19, in <module>

    from twisted.internet.posixbase import (

  File "D:\software\python_env\alway_env\lib\site-packages\twisted\internet\posixbase.py", line 19, in <module>

    from twisted.internet import error, tcp, udp

  File "D:\software\python_env\alway_env\lib\site-packages\twisted\internet\tcp.py", line 38, in <module>

    from twisted.internet._newtls import (

  File "D:\software\python_env\alway_env\lib\site-packages\twisted\internet\_newtls.py", line 18, in <module>

    from twisted.protocols.tls import TLSMemoryBIOFactory, TLSMemoryBIOProtocol

  File "D:\software\python_env\alway_env\lib\site-packages\twisted\protocols\tls.py", line 42, in <module>

    from OpenSSL.SSL import Connection, Error, SysCallError, WantReadError, ZeroReturnError

  File "D:\software\python_env\alway_env\lib\site-packages\OpenSSL\__init__.py", line 8, in <module>

    from OpenSSL import SSL, crypto

  File "D:\software\python_env\alway_env\lib\site-packages\OpenSSL\SSL.py", line 19, in <module>

    from OpenSSL.crypto import (

  File "D:\software\python_env\alway_env\lib\site-packages\OpenSSL\crypto.py", line 3224, in <module>

    utils.deprecated(

这是什么原因？pip install cryptography==36.0.2换成这个版本以后报这个错误

老师，这个问题是怎么解决的啊，是软件的问题吗

有个问题，就是程序可以正常运行。

我的关键字是中文，但是在pycharm的run输出窗口还是没有找不到我搜索的中文，

变成unicode形式，和视频上的不一样，为毛？

fiddler是要钱的吗？有没有免费的呀

这一节资料文档，没有，下载下来的资料只有图片？

db.xinchun.find({$where: () => this.name==='zs'})

db.xinchun.find({$where: function(){return this.name==='zs'}})

为什么这里能使用箭头函数的语法却无法生效，还是我写错了

import json

strList = [1, 2, 3, 4]
strDict = '{"city": "北京", "name": "小明"}'
# lt = json.loads(strList)
# [1, 2, 3, 4]
dt = json.loads(strDict)
json.dumps(strList, ensure_ascii=False)
json.dumps(dt)
print(dt)
print(type(dt))
print(strList, type(strList))

为什么我的dumps没有转换成功，明明是按照视频中的写的啊 ，我用的是Python3.9

为啥我的报这个路径错误，明明弄了这个ANDROID_HOME路径了，百度了一下说，appium的环境变量没有配置

这个页面怎么打开

老师，我想问一下这个标题搜索框是在哪里呀，我的界面和老师的界面不一样。

fake_useragent UserAgent
requests
time sleep
urllib.request urlretrieve

os


(hero_id):
    url = hero_idheader = {: UserAgent().random}
    resp = requests.get(url, =header)
    sk resp.json().get():
        sk.get():

            title = sk.get()
            path = titlename = sk.get().replace(, )
            img_url = sk.get()
            (nameimg_url)
            os.path.exists(path):
                os.makedirs(path)
            urlretrieve(img_url, =pathname)
            sleep()


():
    url = header = {: UserAgent().random}
    resp = requests.get(url, =header)
    h resp.json().get():
        hero_id = h.get()
        hero_name = h.get()
        hero_name, hero_id


__name__ == :
    hero_name, hero_id get_hero_lists():
        (hero_name)
        get_hero_skins(hero_id)
        (hero_name)

这个可以爬取到英雄名的文件夹中

老师，代码中的yield的作用是怎样的，在资料文档里看到的用法跟这个不同的，乱了

问题如下：

我想爬取淘宝的商品信息，但是爬不到，希望老师能检查一下我的代码，希望老师不要敷衍，拜托了

zongzi.py

from selenium import webdriver
import time
import random
from cook import TAO_USERNAME, TAO_PASSWORD
import csv


def search_product(keyword):
    """根据关键字搜索商品，解决登录"""
    # 输入关键字
    driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)
    # 设置休息时间,随机休眠1—3秒钟
    time.sleep(random.randint(1, 3))
    # 点击搜索按钮
    driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()

    # 解决登录
    # 输入用户名
    driver.find_element_by_xpath('//*[@id="fm-login-id"]').send_keys(TAO_USERNAME)
    # 设置休息时间,随机休眠1—2秒钟
    time.sleep(random.randint(1, 2))
    # 输入密码
    driver.find_element_by_xpath('//*[@id="fm-login-password"]').send_keys(TAO_PASSWORD)
    # 设置休息时间,随机休眠1—2秒钟
    time.sleep(random.randint(1, 2))
    # 点击登录按钮
    driver.find_element_by_xpath('//*[@id="login-form"]/div[4]/button').click()

def parse_data():
    """解析数据"""
    # 获取所有想要的div标签
    divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfix"]/div/div')

    # 二次提取
    for div in divs:
        try:
            title = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text  # 名字
            price = div.find_element_by_xpath('.//strong').text + '元'  # 价格
            deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text  # 付款人数
            name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text  # 店铺
            location = div.find_element_by_xpath('.//div[@class="location"]').text  # 地址
            detail_url = div.find_element_by_xpath('.//div[@class="pic"]/a').text  # 详情页的URL
            print(title, price, deal, name, location, detail_url)

            # 保存文件
            with open('淘宝.csv', mode='a', encoding='utf-8', newline='') as f:
                csv_write = csv.writer(f) # 实例化csv模块写入对象
                csv_write.writerow([title, price, deal, name, location, detail_url])
        except:
            continue

word = input('请输入你要搜索商品的关键字：')
# 创建一个浏览器
driver = webdriver.Chrome()
# 绕过selenium的检测
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",
            {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})

# 执行自动化页面操作——输入要爬取得网站
driver.get('https://www.taobao.com/')
# 最大化窗口
driver.maximize_window()
# 设置浏览器的隐式等待
driver.implicitly_wait(10)

# 调用搜索商品的函数
search_product(word)
# 设置休息时间,随机休眠2-4秒钟
time.sleep(random.randint(2, 4))

# 获取前十页的数据
for page in range(100):
    print(f'\n============================正在抓取第{page + 1}数据=====================================')
    driver.get(f'https://www.taobao.com/search?a={word}&s={page * 44}')
# 调用数据解析函数
parse_data()
# 设置休息时间,随机休眠2-4秒钟
time.sleep(random.randint(2, 4))

cook.py

TAO_USERNAME = "用户"
TAO_PASSWORD = "密码"

老师，视频里的rules有两个规则，这两个规则的执行逻辑是下面这样吗？

如果第一个rule能筛选出来url，则不执行第二个rule，直接发送请求，然后对响应进行解析；如果第一个rule没有筛选出来，则执行第二个rule，如果能筛选出来url，发送请求，解析响应。

老师，是这样吗？