会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132647个问题
Python 全系列/第十六阶段:Python 爬虫开发/爬虫反反爬- 227楼

from time import sleep  # 导入sleep模块,用于控制程序休眠
from selenium.webdriver import Edge, EdgeOptions  # 导入Edge和EdgeOptions类,用于创建Edge浏览器驱动
from selenium.webdriver.common.by import By  # 导入By类,用于定义定位元素的方式
from lxml import etree  # 导入etree模块,用于解析HTML源码


def huya():  # 定义一个名为huya的函数
    options = EdgeOptions()  # 创建一个EdgeOptions对象
    edge = Edge(options=options)  # 使用EdgeOptions对象创建一个Edge浏览器实例
    # 向浏览器发送命令,向新文档添加一个脚本
    edge.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
         Object.defineProperty(navigator, 'webdriver', {
         get: () => false
         })
       """
    })
    edge.get("https://www.huya.com/g/lol")  # 打开指定网页
    edge.implicitly_wait(10)  # 设置隐式等待时间为10秒
    edge.switch_to.frame('UDBSdkLgn_iframe')  # 切换到名称为'UDBSdkLgn_iframe'的iframe框架
    # 定位id为'close-udbLogin'的元素,并点击
    edge.find_element(By.ID, 'close-udbLogin').click()
    count = 1  # 初始化计数器为1
    while True:  # 进入循环,直到条件不满足为止
        sleep(1)  # 休眠1秒
        e = etree.HTML(edge.page_source)  # 将浏览器页面源码解析为HTML对象
        names = e.xpath('//a[@class="title"]/text()')  # 使用xpath定位方式获取所有a标签中class为"title"的文本内容
        persons = e.xpath('//i[@class="nick"]/text()')  # 使用xpath定位方式获取所有i标签中class为"nick"的文本内容
        hots = e.xpath('//i[@class="js-num"]/text()')  # 使用xpath定位方式获取所有i标签中class为"js-num"的文本内容
        for name, person, hot in zip(names, persons, hots):  # 遍历name、person和hot列表
            print(f'直播间:{name},主播:{person},热度:{hot}')  # 打印直播间名称、主播和热度信息
        print(f'第{count}页')  # 打印当前页码
        count += 1  # 计数器加1
        try:
            next_btn = edge.find_element(By.XPATH, '//a[@class="laypage_next"]')  # 定位class为"laypage_next"的元素
            next_btn.click()  # 点击定位到的元素
        except Exception as e:  # 如果发生异常,捕获异常信息并命名为e
            break  # 跳出循环

    edge.quit()  # 关闭浏览器


if __name__ == '__main__':  # 如果程序作为主程序运行
    huya()  # 调用huya函数

while True下面那个sleep不写的话就太快了导致点不到下一页,但隐式等待没起到作用吗?

Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 228楼
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用(旧) 229楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 231楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础(旧) 232楼

屏幕截图 2022-04-06 181732.png


Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础(旧) 233楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础(旧) 235楼

from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.parse import urlencode
from urllib.request import HTTPCookieProcessor
from http.cookiejar import MozillaCookieJar
def get_cookie():
    login_url = 'https://www.docin.com/app/login'
    # 设置账号密码
    form_data = {
        'user': '18310640655',
        'password': '199759guo'
    }
    # 设置请求头
    headers = {"User-Agent": UserAgent().random}
    # 封装函数
    req = Request(login_url, headers=headers, data=urlencode(form_data).encode())
    #自己保存cookie
    cookie_jar =MozillaCookieJar()
    # 保存cookie
    handler = HTTPCookieProcessor(cookie_jar)
    opener = build_opener(handler)
    resp = opener.open(req)
    #无论我的cookie是否过期都将保存下来
    cookie_jar.save('cookie.txt',ignore_discard=True,ignore_expires=True)

def use_cookie():
    info_url = 'https://www.docin.com/'
    headers = {'User-Agent':UserAgent().random}
    req = Request(info_url,headers=headers)

    #加载cookie信息
    cookie_jar = MozillaCookieJar()
    cookie_jar.load('cookie.txt',ignore_discard=True,ignore_expires=True)
    handler = HTTPCookieProcessor(cookie_jar)
    #将信息放到控制器里面
    opener = build_opener(handler)
    resp = opener.open(req)

    print(resp.read().decode())

if __name__ == '__main__':
    get_cookie()
    use_cookie()

image.png


老师,我尝试用cookie登录豆丁网,为什么我保存下来的cookie信息是这样的。并且无法登录

Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用(旧) 239楼
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 240楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637