这个代表什么路径file:///
真的不明白这是什么意思;只2要我在.com后面加参数就会返回这个。 老师你说换一个网站试一下是什么意思啊?,没明白
老师,我想问一下,像零基础的人学习哪一块更容易找到这方面的工作,课程太多,短时间内可能没法学完,想尽快学习完好换工作,可以推荐一下主要先学哪几章节吗,谢谢
from scrapy.cmdline import execute execute(['scrapy', 'crawl', 'douban'])
老师,为什么会出现这个呢?
z怎么解决
selenium webdriver os chrome = webdriver.Chrome(=) file_path = + os.path.abspath() chrome.get(file_path) selet = chrome.find_element_by_id() selet.find_element_by_xpath().click()
老师,我想请问一下,因为这个是并发的,如果我只想控制爬取20个章节,怎么控制,我自己用全局变量试了一下,好像不可以诶
代码:
from selenium import webdriver from selenium.webdriver.common.by import By from time import sleep from lxml import etree url="https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC&enc=utf-8&suggest=1.his.0.0&wq=&pvid=40937e98d36f4436bba78c1a81d0a967" options=webdriver.ChromeOptions() options.add_argument('headless') chrome=webdriver.Chrome(options=options) chrome.get(url) js='document.documentElement.scrollTop=100000' chrome.execute_script(js) sleep(2) html=chrome.page_source e=etree.HTML(html) name=e.xpath('//div[@id="J_goodsList"]/ul[@class="gl-warp clearfix"]/li/div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()') price=e.xpath('//div[@id="J_goodsList"]//div[@class="p-price"]/strong/i/text()') for names,prices in zip(name,price): print(names,":",prices) print(len(name)) chrome.quit()
问题:
老师请问一下,为什么我在京东网站中写的xpath,显示results是60条结果,我把它复制到python中打印了电脑名称name的长度,什么改动都没有做,可结果变成了120条?
老师,学到什么程度可以当爬虫工程师呢?需要达到什么样的水准?
老师这里一直在报错,实在不知道该怎么解决了,网上说要重启服务器,可是我已经重启了很多次了,端口号也改了就是不知道问题在哪里
这是改了链接的问题
from selenium import webdriver import os chrome = webdriver.Chrome(executable_path='./venv/Scripts/chromedriver.exe') file_path = 'file:///' + os.path.abspath('./html/dorop_down.html') chrome.get(file_path) selet = chrome.find_element_by_id('shippingMetod') selet.find_element_by_xpath('//option[@value=""10.69]').click()
老师这样怎么处理,浏览器打开一片空白,
这个要怎么解决呢
爬虫错误1.png
老师,我想请问一下我这个是什么情况呢
urllib.request urlopen urllib.request Request random choice url=user_agents={ , , } headers={: choice(user_agents) } req=Request(url,=headers) resp=urlopen(req) (req.get_header())
非常抱歉给您带来不好的体验!为了更深入的了解您的学习情况以及遇到的问题,您可以直接拨打投诉热线:
我们将在第一时间处理好您的问题!
关于
课程分类
百战程序员微信公众号
百战程序员微信小程序
©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园网站维护:百战汇智(北京)科技有限公司 京公网安备 11011402011233号 京ICP备18060230号-3 营业执照 经营许可证:京B2-20212637