会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132464个问题
Python 全系列/第七阶段:网页编程基础/jquery 34653楼
大数据全系列/第一阶段:Linux 操作系统/Linux操作系统概述与安装 34654楼
JAVA 全系列/第二阶段:JAVA 基础深化和提高/网络编程(旧) 34655楼

我准备爬取https://m.lread.net的一本小说,这小说有时候 一个章节分了两页html。我如何将第二页的内容与前一页内容合并,保存到csv文件里?

image.png

#pipelines.py
import csv
class RuanyunPipeline(object):
    def __init__(self):
        self.filename= open('douluodalu.csv','w',newline="",encoding='utf-8')
        self.writer=csv.writer(self.filename)
        self.writer.writerow(['title','url_next','content'])
    def process_item(self, item, spider):
        if '-' not in item['url_now']:
            self.writer.writerow([item['title'],item['url_now'],item['content']])
        else :
            self.writer.writerow([item['title'],item['url_now'],item['content']])
        return item
    def close_spider(self,spider):
        if self.filename:
            self.filename.close()

ruanyun.zip


Python 全系列/第十五阶段:Python 爬虫开发/移动端爬虫开发- 34657楼
Python 全系列/第一阶段:Python入门/面向对象 34658楼
Python 全系列/第十五阶段:Python 爬虫开发/scrapy框架使用(旧) 34659楼
JAVA 全系列/第二阶段:JAVA 基础深化和提高/网络编程(旧) 34663楼
JAVA 全系列/(旧的隐藏)第七阶段:JAVA 高级技术/Redis 34664楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637