我不用cookie也直接能登入啊，啥情况

urllib.request Requesturlopen
fake_useragent UserAgent

url = headers = {: UserAgent().random}
req = Request(url=headers)
reps = urlopen(req)
(reps.read().decode())

火狐放到Python根目录，谷歌放到Script文件夹内？？？

为啥会出现第一次为None，第二次为0的情况，不应该都为0吗

老师，请问，这个External Libraries是放什么的哦，为什么查看源码从这里面找，找的又是谁的源码呢，在视频第19分钟

代码:

import scrapy


class BizhizuSpider(scrapy.Spider):
    name = 'bizhizu'
    allowed_domains = ['bizhizu.cn']
    # start_urls = ['https://www.bizhizu.cn/pic/7097.html']
    start_urls=['https://www.bizhizu.cn/pic/7097-0.html']

    def parse(self, response):
        image_url=response.xpath('//div[@class="pic"]/a[@id="photoimg"]/img/@src').extract_first()
        print(image_url)
        image_name=response.xpath('string(//div[@class="txt"]/h1)').extract_first()
        print(image_name)
        yield{
            "image_url":image_url,
            "image_name":image_name
        }
        next_url=response.xpath('//div[@class="photo_next"]//a/@href').extract_first()
        yield scrapy.Request(next_url,callback=self.parse)

from scrapy.pipelines.images import ImagesPipeline
from scrapy import Request
class PicturePipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        yield Request(item["image_url"],meta={"name":item["image_name"]})
    def file_path(self, request, response=None, info=None,*,item=None):
        name=request.meta["name"].strip()
        name=name.replace("/","_")
        return name+'.jpg'

运行结果:

老师请问一下，为什么我在爬取淘女郎图片的时候，每次爬取的图片名称都是一样的，但是image_url是不同的，麻烦老师帮我看看程序哪里出问题了?

是pycharm的调试控制台和vscode不一样还是我打开错了？

半夜突然醒来，闲着无聊敲了个爬虫的代码，用selenium实现一个自动登录之类的，代码如下所示：

"""
   用 selenium 实现对中国大学mocc的登录
   程序运行报错：正在处理中
"""
from selenium import webdriver
from time import sleep
fox = webdriver.Firefox()
url ='https://www.icourse163.org/member/login.htm?returnUrl=aHR0cHM6Ly93d3cuaWNvdXJzZTE2My5vcmcvaW5kZXguaHRt#/webLoginIndex'
fox.get(url)
sleep(3)

# 点击登录按钮,弹出登录界面
fox.find_element_by_css_selector('#auto-id-1628452551743').click()
sleep(1)
# 选择其他登录方式
fox.find_element_by_css_selector('#login-cnt > div > div > div > div.ux-login-set-scan-code_ft > span').click()
# 获取账号框和密码框，输入密码
fox.find_element_by_css_selector('#auto-id-1628452775609').send_keys('*************')
sleep(1)
fox.find_element_by_css_selector('#auto-id-1628452775612').send_keys('*************')
sleep(1)
fox.find_element_by_css_selector('#dologin').click()
sleep(1)

print(fox.current_url)
print(fox.page_source)
sleep(5)


sleep(2)
fox.quit()

报错信息如下：

C:\Users\Administrator\AppData\Local\Programs\Python\Python39\python.exe D:/pythonProject2/实战python网络爬虫/selenium的使用/selenium_03.py

Traceback (most recent call last):

  File "D:\pythonProject2\实战python网络爬虫\selenium的使用\selenium_03.py", line 13, in <module>

    fox.find_element_by_css_selector('#auto-id-1628452551743').click()

  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 598, in find_element_by_css_selector

    return self.find_element(by=By.CSS_SELECTOR, value=css_selector)

  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element

    return self.execute(Command.FIND_ELEMENT, {

  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute

    self.error_handler.check_response(response)

  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response

    raise exception_class(message, screen, stacktrace)

selenium.common.exceptions.NoSuchElementException: Message: Unable to locate element: #auto-id-1628452551743

无法定位到元素，敢问老师怎么处理？

进程已结束，退出代码为 1

什么你这docker服务已经开启了，你是开启了，我们怎么开

为什么我跑完程序 里面没有user-agent这个说明？

from fake_useragent import UserAgent
import ssl
import requests
from lxml import etree

from time import sleep

def get_html(url):
    '''
    :param url: 要爬取的地址
    :return: 返回html
    '''
    headers = {"User_Agent": UserAgent().random}
    resp = requests.get(url,headers=headers)

    #status_code   返回状态码
    if resp.status_code == 200:
        resp.encoding='utf-8'
        return resp.text
    else:
        return None

def parse_list(html):
    '''
    :param html: 传递进来有一个电影列表的的html
    :return: 返回一个电影的url
    '''

    e = etree.HTML(html)
    # 解决验证CA
    # ssl._create_default_https_context = ssl._create_unverified_context
    list_url = ['https://www.qidian.com{}'.format(url)for url in e.xpath('//div[@class="book-img-box"]/a/@href')]
    return list_url

def parse_index(html):
    '''
    :param html: 传递一个有电影信息的html
    :return: 已经提取好的电影信息
    '''
    e = etree.HTML(html)
    name = e.xpath('//div/h1/span/a/text()')
    return name

def main():
    num = int(input("请输入要获取多少页："))
    for page in range(num):
        url = 'https://www.qidian.com/all?&page={}'.format(page+1)
        list_html = get_html(url)
        list_url = parse_list(list_html)
        for url in list_url:
            info_html = get_html(url)
            move = parse_index(info_html)
            print(move)

if __name__ == '__main__':
    main()

老师，您帮我看一下，为什么我这个最后返回的是空列表啊，我debug看了一下是这个出问题了。返回了空值，但是我使用插件看了看没问题啊

name = e.xpath('//div/h1/span/a/text()')

存在两个疑惑，希望老师可以答疑：

1、scrapy 是否可以理解为已经写好的框架类设计，而前面学习的动态UA，会话cookie在这里依旧有效（实现同样的功能，只是可能表现的方法不同）

2、对于选择器的概念还不是很明白，有没有更浅显直白的相关扩展资料来参考下

老师为啥我按视频里的步骤做完了怎么还弹出来这个

  老师您好，请教几个个非技术性问题：

  （1）就是爬虫学到哪了程度了可以尝试去找工作？是否需要比较精才可以？

     简单介绍一下自己的情况，现在已经学完了爬虫课程，可以登录一些网站爬取信息（主要用的还是cookies登录，验证码登录时而成功时而失败）并保存，scrapy基本操作会了，但真正编写爬虫的时候需要时不时翻阅资料。

     简单概括就是，基本会登录网站爬取数据简单处理之后报存在数据库。

  （2）另外还想问一下，企业爬虫一般用那种登录方式比较多，个人感觉是cookies，不知道是否正确？

  （3）我个人是想往爬虫方向发展的，网络编程基础只学了html、css、javascript，没学框架，这样学习是否合理？

  （4）除了尚学堂的课程，请老师推荐精通爬虫的书籍。

   期待回复，谢谢。

为什么会有这种错误，老师。setting配置和你的一样啊，网上的解决方法都不行啊，是不是scrapy的版本不行，我的是1.8.0的

刚开始那个get请求和老师结果一样，现在这个不知道什么情况？

title乱码正常吗？