fake_useragent UserAgent
requests
time sleep
urllib.request urlretrieve

os


(hero_id):
    url = hero_idheader = {: UserAgent().random}
    resp = requests.get(url, =header)
    sk resp.json().get():
        sk.get():

            title = sk.get()
            path = titlename = sk.get().replace(, )
            img_url = sk.get()
            (nameimg_url)
            os.path.exists(path):
                os.makedirs(path)
            urlretrieve(img_url, =pathname)
            sleep()


():
    url = header = {: UserAgent().random}
    resp = requests.get(url, =header)
    h resp.json().get():
        hero_id = h.get()
        hero_name = h.get()
        hero_name, hero_id


__name__ == :
    hero_name, hero_id get_hero_lists():
        (hero_name)
        get_hero_skins(hero_id)
        (hero_name)

这个可以爬取到英雄名的文件夹中

老师，代码中的yield的作用是怎样的，在资料文档里看到的用法跟这个不同的，乱了

问题如下：

我想爬取淘宝的商品信息，但是爬不到，希望老师能检查一下我的代码，希望老师不要敷衍，拜托了

zongzi.py

from selenium import webdriver
import time
import random
from cook import TAO_USERNAME, TAO_PASSWORD
import csv


def search_product(keyword):
    """根据关键字搜索商品，解决登录"""
    # 输入关键字
    driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)
    # 设置休息时间,随机休眠1—3秒钟
    time.sleep(random.randint(1, 3))
    # 点击搜索按钮
    driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()

    # 解决登录
    # 输入用户名
    driver.find_element_by_xpath('//*[@id="fm-login-id"]').send_keys(TAO_USERNAME)
    # 设置休息时间,随机休眠1—2秒钟
    time.sleep(random.randint(1, 2))
    # 输入密码
    driver.find_element_by_xpath('//*[@id="fm-login-password"]').send_keys(TAO_PASSWORD)
    # 设置休息时间,随机休眠1—2秒钟
    time.sleep(random.randint(1, 2))
    # 点击登录按钮
    driver.find_element_by_xpath('//*[@id="login-form"]/div[4]/button').click()

def parse_data():
    """解析数据"""
    # 获取所有想要的div标签
    divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfix"]/div/div')

    # 二次提取
    for div in divs:
        try:
            title = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text  # 名字
            price = div.find_element_by_xpath('.//strong').text + '元'  # 价格
            deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text  # 付款人数
            name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text  # 店铺
            location = div.find_element_by_xpath('.//div[@class="location"]').text  # 地址
            detail_url = div.find_element_by_xpath('.//div[@class="pic"]/a').text  # 详情页的URL
            print(title, price, deal, name, location, detail_url)

            # 保存文件
            with open('淘宝.csv', mode='a', encoding='utf-8', newline='') as f:
                csv_write = csv.writer(f) # 实例化csv模块写入对象
                csv_write.writerow([title, price, deal, name, location, detail_url])
        except:
            continue

word = input('请输入你要搜索商品的关键字：')
# 创建一个浏览器
driver = webdriver.Chrome()
# 绕过selenium的检测
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",
            {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})

# 执行自动化页面操作——输入要爬取得网站
driver.get('https://www.taobao.com/')
# 最大化窗口
driver.maximize_window()
# 设置浏览器的隐式等待
driver.implicitly_wait(10)

# 调用搜索商品的函数
search_product(word)
# 设置休息时间,随机休眠2-4秒钟
time.sleep(random.randint(2, 4))

# 获取前十页的数据
for page in range(100):
    print(f'\n============================正在抓取第{page + 1}数据=====================================')
    driver.get(f'https://www.taobao.com/search?a={word}&s={page * 44}')
# 调用数据解析函数
parse_data()
# 设置休息时间,随机休眠2-4秒钟
time.sleep(random.randint(2, 4))

cook.py

TAO_USERNAME = "用户"
TAO_PASSWORD = "密码"

老师，视频里的rules有两个规则，这两个规则的执行逻辑是下面这样吗？

如果第一个rule能筛选出来url，则不执行第二个rule，直接发送请求，然后对响应进行解析；如果第一个rule没有筛选出来，则执行第二个rule，如果能筛选出来url，发送请求，解析响应。

老师，是这样吗？

保存地址的name为空，还望老师看一下，使用视频老师的讲解会报 TypeError: unsupported operand type(s) for +: 'set' and 'str' 错误，所以自己写成了这样

import requests
from fake_useragent import UserAgent
from bs4 import BeautifulSoup

def format_actors(a_list):
    actor_set=set()
    for a in a_list:
        actor_set.add(a.text.strip())
    return actor_set

def start():
    url = 'https://www.maoyan.com/films/1331230'
    headers = {"User-Agent":UserAgent().chrome}
    resp = requests.get(url,headers=headers)
    soup = BeautifulSoup(resp.text,'lxml')

    name = soup.select('h1.name')[0].text
    types = soup.select('li.ellipsis')[0].text
    actors_m = soup.select('li.celebrity actor>div>a')
    actors = format_actors(actors_m)
    print(f'电影名：{name},类型：{types},演员：{actors}')
   

if __name__ == "__main__":
    start()

老师，请问问题出在哪？报以下错误

老师，您好，post请求，传给Request的data在哪里找呢，是浏览器里Request headers下面的内容还是Query string parameters下面的内容，或者是别的地方的内容？

老师这个怎么解决啊？，怎么手动验证啊？

在将True改为False之后第二个debug解决了，

目前还有第一个debug，也就是

这是源码

python里面的内容有讲maven，我好像都没看到

老师，爬虫我已复制好user_url,为什么还是报错呢？

老师，我想用正则表达式可以匹配到红色划线的那些数字，但是我尝试了几次都不行，那个正则应该怎么写呢？

老师，这个实验用for语句控制了访问次数，那么如果在某些网站上面，我只访问一次去获取数据，那服务器是不是就不会崩溃啊