老师，scrapy可以像requests.session一样会话保持吗？

SDKmanager卡住了

import requests
from fake_useragent import UserAgent
from lxml import etree
import os

def get_header():
    location = os.getcwd() + '/fake_useragent.json'
    ua = UserAgent(path=location)
    return ua.chrome

#发送请求
class Downloader():
    def do_download(self,url):
        print(url)
        hearders = {'User-Agent':get_header()}
        resp = requests.get(url,hearders=hearders)
        if resp.status_code == 200:
            resp.encoding = 'utf-8'
            return resp.text

#数据解析
class Parser():
    def do_parse(self,html):
        e = etree.HTML(html)
        contents = [div.xpath('string(.)').strip() for div in e.xpath('//div[@class="content"]')]
        urls = ['https://www.qiushibaike.com{}'.format(url) for url in e.xpath('//ul[@class="pagination"]/li/a/@href')]
        return contents,urls

#数据保存
class Dataoutput():
    def do_save(self,datas):
        with open('duanzi.txt1','a',encoding='utf-8') as f:
            for data in datas:
                f.write(data + '\n')



#url管理器
class URLManager():
    def __init__(self):
        self.new_url = set()
        self.old_url = set()
        #加入一个url
    def add_new_url(self,url):
        if url is not None and url != '' and url not in self.old_url:
            self.new_url.add(url)
        #加入多个url
    def add_new_urls(self,urls):
        for url in urls:
            self.add_new_url(url)
        #获取一个url
    def get_new_url(self):
        url = self.new_url.pop()
        self.old_url.add(url)
        return url
        #获取还有多少个url要爬取
    def get_new_url_size(self):
        return len(self.new_url)

        #获取是否还有url要爬取
    def have_new_url(self):
        return self.get_new_url_size()>0

#调度器
class Scheduler:
    def __init__(self):
        self.downloader = Downloader()
        self.parser = Parser()
        self.data_out_put = Dataoutput()
        self.url_manager = URLManager()
    def start(self,url):
        self.url_manager.add_new_url(url)
        while self.url_manager.have_new_url():
            url = self.url_manager.get_new_url()
            html = self.downloader.do_download(url)
            datas,urls = self.parser.do_parse(html)
            self.data_out_put.do_save(datas)
            self.url_manager.add_new_urls(urls)



if __name__ == '__main__':
    scheduler = Scheduler()
    url = 'https://www.qiushibaike.com/text/'
    scheduler.start(url)

老师，这个报错是哪儿有问题呢，没想明白

自己敲了一遍代码，运行无结果也不报错

原代码：

import requests

from fake_useragent import UserAgent

from bs4 import BeautifulSoup

url = "https://www.maoyan.com/films?showType=3"

headers = {"User-Agent":UserAgent().edge}

resp = requests.get(url,headers=headers)

bs = BeautifulSoup(resp.text,"lxml")

names = bs.select("dl.movie-list > div.channel-detail.movie-item-title > a")

scores = bs.select("dl.movie-list > div.channel-detail.channel-detail-orange > i")

for n,s in zip(names,scores):

    print(f"电影名称：{n}---评分：{s}")

然后按照视频中的内容复制一份运行也没结果，不报错

原代码：

import requests

from fake_useragent import UserAgent

from bs4 import BeautifulSoup

url = "https://www.maoyan.com/films?showType=3"

headers = {"User-Agent":UserAgent().edge}

resp = requests.get(url,headers=headers)

bs = BeautifulSoup(resp.text,"lxml")

names = [div.text.strip("") for div in bs.select("div.channel-detail.movie-item-title")]

scores = [div.text.strip("") for div in bs.select(".channel-detail.channel-detail-orange")]

for n,s in zip(names,scores):

    print(f"电影名称：{n}---评分：{s}")

在爬虫这一章，好几次视频操作的网站，运行结果都是这样，无结果也不报错，换百战的官网有时候试试又可以了，不知道哪儿有问题

问题如下：

如何爬取每个城市的数字编号？

网址：51job招聘网

要爬出这种结果：如何爬?

#pip install Appium-Python-Client==2.6.1

#selenium                  4.11.2

from appium import webdriver

from selenium.webdriver.common.by import By

from time import sleep

#设置设备信息

desired = {

    "platformName": "Android",

    "platformVersion": "5.1.1",

    "deviceName": "VOG-AL10",

    "appPackage": "com.android.browser",

    "appActivity": "com.android.browser.BrowserActivity"

}

#设置appium的服务

server = 'http://localhost:4723/wd/hub'

# 新建一个driver

driver = webdriver.Remote(server, options=desired)

#蒙版元素，需要点击一下

value = '/hierarchy/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout/android.webkit.WebView'

driver.find_element(By.XPATH,value).click()

sleep(1)

#定位输入框

input_text = '/hierarchy/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout/android.webkit.WebView/android.webkit.WebView/android.view.View[2]/android.view.View[3]/android.view.View/android.widget.EditText'

input = driver.find_element(By.XPATH,input_text)

#输入内容,清空数据

input.clear()

input.send_keys('音乐')

sleep(1)

#定位按钮

button_text = '/hierarchy/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout/android.webkit.WebView/android.webkit.WebView/android.view.View[2]/android.view.View[3]/android.view.View/android.widget.Button'

button = driver.find_element(By.XPATH,button_text)

#点击按钮

button.click()

sleep(1)

#com.android.browser/.BrowserActivity

启动报错：

Traceback (most recent call last):

  File "d:\python\spiderProject\移动端爬虫\appium的实战.py", line 21, in <module>

    driver = webdriver.Remote(server, options=desired)

  File "D:\virtualenv\spider_env\lib\site-packages\appium\webdriver\webdriver.py", line 230, in __init__

    super().__init__(

TypeError: WebDriver.__init__() got an unexpected keyword argument 'desired_capabilities'

我也是复制全部代码再删的，但出现错误了

return A[e].call(t.exports, t, t.exports, o),

                    ^

TypeError: Cannot read properties of undefined (reading 'call')

老师我想问一个问题，我们做项目的时候用不用scrapy是不是根据项目大小，数据量的多少来决定吗？还是都可以用scrapy？

老师，这个Android是安装不了软件？

老师，

    节日快乐~

    请问课件上用的etree.parse 和代码实例里的etree.HTML的应用场景有什么区别呢？

    我自己随便找了个网页爬取数据parse和html方法都无法使用，请问问题出在哪里呢？

import requests
from fake_useragent import UserAgent
from lxml import etree
url='http://lishishangdejintian.51240.com/'
headers={'User-Agent':UserAgent().random}
proxies={
            "http":"http://61.135.186.80:80"
}
resp=requests.get(url,headers=headers,proxies=proxies,timeout=1)
# resp.encoding='utf-8'
print(resp.text)
e = etree.HTML(resp)
# print(e)
# test = e.xpath('//ul[@class="list"]')
# print(test)

老师，能把能用正则把图片中标记字体匹配一下

老师为啥我这个Tomcat里面啥命令也没有，没有像视频中一样可以显示IP地址

老师，切换虚拟环境用哪个快捷键？

ASN1.prototype.getHexStringValue = function () {

    ^

ReferenceError: ASN1 is not defined

老师你好，我配置环境变量中，输入命令系统没有反应，该怎么办