代码在这：

# -*- coding: utf-8 -*-
import scrapy


class BiqukuSpider(scrapy.Spider):
    name = 'biquku'
    allowed_domains = ['biquku.com']
    start_urls = ['https://www.biquku.co/5023/3234391.html']

    def parse(self, response):
        title=response.xpath('//h1/text()').extract_first()
        content=response.xpath('string(//div[@id="content"])').extract_first().strip()
        next_url=response.xpath('//a[@id="pager_next"]/@href').extract_first()

        yield {
            'title':title,
            'content':content
        }
        yield scrapy.Request(response.urljoin(next_url),callback=self.parse)#response.urljoin代表自动补齐url

下面是pipelines的

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


class XiaoshuoPipeline(object):
    def open_spider(self,spider):
        self.filename=open('quanzhifashi.txt','w',encoding='utf-8')

    def process_item(self, item, spider):
        print(item)
        info=item['title']+'\n'+item['content']+'\n'
        self.filename.write(info)
        return item

    def close_spider(self,spider):
        self.filename.close()

settings的三个设置我也修改了，但是只能爬到一章。。。。。

老师你好

streamlit 安装不上咋办

提取的是每一页的最后一个，这是为什么呢

老师我代码写完了，它报了个PS D:\py爬虫\my py> & "C:/Program Files/python/python.exe" "d:/py爬虫/my py/30_猫眼电影bs4多电影.py"

老师你好

streamlit 安装不上咋办

老师你好

streamlit 永不了给个解决方案

老师，客户端有爬虫吗，像qq音乐想下载歌曲的话要在客户端才能下载

老师，如果想找兼职怎么找呀，推荐的那些平台有很多高手吧，自己也不一定能抢得过别人呀。

老师，下面这个代码是为了下载搜狐登录界面的验证码图片，但是我换了几种方式发送请求，打印resp.text都是得到：

{"body":"","message":"Bad Request","status":400}，但是打印的验证码图片链接又可以访问，这是为啥呢？

具体代码如下：

import execjs
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',
    'Referer': 'https://sohu.com/'}

# 获得验证码链接中的pagetoken和random参数
def get_form_data():
    js_callback = """var randomName = function(prefix) {
                nonce = (new Date).getTime();
                return "passport403" + "_" + prefix + nonce++
            }"""

    ctx = execjs.compile(js_callback)
   
    random_ = ctx.call('randomName', 'sdk')

    js_pagetoken = """
        var pagetoken = (new Date).getTime()+1
        return pagetoken
    """
    ctx_page = execjs.compile(js_pagetoken)
    pagetoken = str(ctx_page.call(js_pagetoken))
    return (pagetoken, random_)


pagetoken, random_ = get_form_data()

url = f"https://v4.passport.sohu.com/i/captcha/picture?pagetoken={pagetoken}&random={random_}"
# 发送请求
resp = requests.get(url,headers=headers)
print(resp.text)
# {"body":"","message":"Bad Request","status":400}
print(url)

使用proxy下载中间件之后，没有执行爬虫文件

老师，我的SwitchyOmega安装好后，打开选项卡怎么是空白啊？