会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 134510个问题

from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.parse import urlencode
from urllib.request import HTTPCookieProcessor
from http.cookiejar import MozillaCookieJar
def get_cookie():
    login_url = 'https://www.docin.com/app/login'
    # 设置账号密码
    form_data = {
        'user': '18310640655',
        'password': '199759guo'
    }
    # 设置请求头
    headers = {"User-Agent": UserAgent().random}
    # 封装函数
    req = Request(login_url, headers=headers, data=urlencode(form_data).encode())
    #自己保存cookie
    cookie_jar =MozillaCookieJar()
    # 保存cookie
    handler = HTTPCookieProcessor(cookie_jar)
    opener = build_opener(handler)
    resp = opener.open(req)
    #无论我的cookie是否过期都将保存下来
    cookie_jar.save('cookie.txt',ignore_discard=True,ignore_expires=True)

def use_cookie():
    info_url = 'https://www.docin.com/'
    headers = {'User-Agent':UserAgent().random}
    req = Request(info_url,headers=headers)

    #加载cookie信息
    cookie_jar = MozillaCookieJar()
    cookie_jar.load('cookie.txt',ignore_discard=True,ignore_expires=True)
    handler = HTTPCookieProcessor(cookie_jar)
    #将信息放到控制器里面
    opener = build_opener(handler)
    resp = opener.open(req)

    print(resp.read().decode())

if __name__ == '__main__':
    get_cookie()
    use_cookie()

image.png


老师,我尝试用cookie登录豆丁网,为什么我保存下来的cookie信息是这样的。并且无法登录

Python全系列/第十六阶段:Python 爬虫开发/scrapy框架使用(旧) 242楼
Python全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 243楼
Python全系列/第十六阶段:Python 爬虫开发/爬虫反反爬 244楼
Python全系列/第十六阶段:Python 爬虫开发/爬虫反反爬- 245楼
Python全系列/第十六阶段:Python 爬虫开发/scrapy框架使用(旧) 247楼
Python全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 248楼
Python全系列/第十六阶段:Python 爬虫开发/爬虫基础(旧) 249楼
Python全系列/第十六阶段:Python 爬虫开发/爬虫基础 250楼
Python全系列/第十六阶段:Python 爬虫开发/爬虫反反爬- 251楼

from fake_useragent import UserAgent
import requests
from lxml import etree

# 发送请求
class Downloader():
    def do_downloader(self,url):
        print(url)
        headers={"User-Agent":UserAgent().chrome}
        resp = requests.get(url,headers=headers)
        if resp.status_code == 200:
            resp.encoding = "utf-8"
            return resp.text

# 数据解析
class Parser():
    def do_parse(self,html):
        e = etree.HTML(html)
        contents = [div.xpath('string(.)').strip() for div in e.xpath('//div[@class="content"]')]
        urls = ['https://www.qiushibaike.com{}'.format(url) for url in e.xpath('//ul[@class="pagination"]/li/a/@href')]
        return contents,urls

# 数据保存
class DataOutPut():
    def do_save(self,datas):
        with open("F:/baizhan/wobushi/duanzi3.txt","a",encoding='utf-8') as f:
            for data in datas:
                f.write(data+"\n")

# URL管理器
class URLManager():
    def __init__(self):
        self.new_url = set()
        self.old_url = set()
    # 加入一个URL
    def add_new_url(self,url):
        if url is not None and url != '' and url not in self.old_url:
            self.new_url.add(url)   # add添加
    # 加入多个URL
    def add_new_urls(self,urls):
        for url in urls:
            self.add_new_url(url)
    # 获取一个URL
    def get_new_url(self):
        url = self.new_url.pop()    # pop将new_url中的值取出
        self.old_url.add(url)
        return url
    # 获取还有多个URL要爬取
    def get_new_url_size(self):
        return len(self.new_url)
    # 获取是否还有URL要爬取
    def have_new_url(self):
        return self.get_new_url_size() > 0

# 调度器
class Scheduler:
    def __index__(self):
        self.downloader = Downloader()
        self.parser = Parser()
        self.data_out_put = DataOutPut()
        self.url_manger = URLManager()

    def start(self,url):
        self.url_manger.add_new_url(url)    # 将URL添加到任务列表
        while self.url_manger.have_new_url():
            url = self.url_manger.get_new_url()     # 取出要爬取的URL
            html = self.downloader.do_downloader(url)       # 获取网页
            datas,urls = self.parser.do_parse(html)     # 提取数据,datas数据,urls第二,三。。。页的URL或者是二级网页URL
            self.data_out_put.do_save(datas)
            self.url_manger.add_new_urls(urls)

if __name__ == '__main__':
    scheduler = Scheduler()
    url = 'https://www.qiushibaike.com/text'
    scheduler.start(url)

4.png

老师,这个问题怎么改啊?看着和老师视频中的代码没出入呀

Python全系列/第十六阶段:Python 爬虫开发/爬虫反反爬- 252楼
Python全系列/第十六阶段:Python 爬虫开发/Python爬虫基础与应用 253楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2026百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637