会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132647个问题

老师

1、selenium的获取URL方法

from time import sleep
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.maximize_window()

driver.get('http://www.baidu.com')
sleep(2)
try:
    driver.find_element_by_id('kw').send_keys('汽车之家')
    driver.find_element_by_id('su').click()
    '''延时操作,访问页面'''
    driver.implicitly_wait(10)
    # WebDriverWait(driver,10).until(EC.presence_of_element_located((By.XPATH,'//div[@id="1"]/h3/a'))).send_keys(Keys.ENTER)
    driver.find_element_by_xpath('//div[@id="1"]/h3/a').send_keys(Keys.ENTER)    # 或者 Keys.RETURN
    '''页面相关操作'''
    driver.implicitly_wait(10)
    a = driver.current_url
    print(a)

except Exception as e:
    print(e)

finally:
    sleep(10)
    driver.quit()


这个方法为什么获取不到当前访问页面的URL?比如这里成功通过百度,跳转到了汽车之家的官网,调用这个方法打印的是百度搜索页面的URL,还是说这个方法本来就是这样?如何获取到当前页面的url呢?


2、selenium获取页面源代码

获取源代码应该也是根据他当前获取的URL的源代码吧,比如这里只能获取百度搜索页面的的URL,所以打印的也是百度搜索页面的源码

Python 全系列/第十六阶段:Python 爬虫开发/爬虫反反爬- 871楼

image.zip

image.png

老师,麻烦帮我看看我的代码为什么出现图中的bug,这样的bug应该怎么解决?

Python 全系列/第十六阶段:Python 爬虫开发/scrapy 框架高级 873楼
Python 全系列/第十六阶段:Python 爬虫开发/动态数据抓取 874楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础(旧) 876楼

douban.zip

老师麻烦看下,我打印item字典时里面的name,star,url都一一对应,

但是加入content了,打印出来的name,star,url都是一样的值,麻烦老师可以帮我修改下吗

image.png

image.png


Python 全系列/第十六阶段:Python 爬虫开发/移动端爬虫开发- 878楼
Python 全系列/第十六阶段:Python 爬虫开发/移动端爬虫开发- 879楼
Python 全系列/第十六阶段:Python 爬虫开发/分布式爬虫 881楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础(旧) 882楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫反反爬- 883楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫反反爬- 884楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637