老师,麻烦帮忙看一下我的代码:
源码:
作业_爬取拉钩职位.zip
运行结果中不能爬取到所有页面
另外保存的结果中有太多空格和\n
麻烦老师协助解决下,谢谢!
老师,我在执行代码时发现滚动条没拉到最底端,最后一行代码显示数量明显不对,代码如下,麻烦老师帮忙分析下,谢谢!
#!/usr/bin/env python3 # -*- coding: utf-8 -*- from selenium import webdriver from time import sleep from lxml import etree ''' 例子:百度图片 但是这个案例没实现把滚动条拉到最下端 ''' driver = webdriver.Chrome() driver.get('https://image.baidu.com/') driver.find_element_by_id('kw').send_keys('成吉思汗') driver.find_element_by_class_name('s_search').click() js = 'document.documentElement.scrollTop=1000000' # js = 'window.scrollTo(0,1000000)' driver.execute_script(js) sleep(5) html = driver.page_source e = etree.HTML(html) imgurl_list = e.xpath('//li[@class="imgitem"]/div/a/img/@data-imgurl') linkurl_list = ['https://image.baidu.com{}'.format(url) for url in e.xpath('//li[@class="imgitem"]/div/a/@href')] for imgurl,linkurl in zip(imgurl_list,linkurl_list): print(imgurl,'|',linkurl) driver.quit() print(len(linkurl_list))
老师,scrapy可以像requests.session一样会话保持吗?
一直这样 别的版本都试过 都不行
保存地址的name为空,还望老师看一下,使用视频老师的讲解会报 TypeError: unsupported operand type(s) for +: 'set' and 'str' 错误,所以自己写成了这样
这种的 深层次爬取怎么搞,,,,,。
每个类后,为什么有的加括号 有的不加括号,什么情况加什么情况不加
class Dataoutput(): class Scheduler:
#!/usr/bin/env python3 # -*- coding: utf-8 -*- from urllib.request import Request,build_opener from fake_useragent import UserAgent from urllib.request import ProxyHandler url = 'http://httpbin.org/get' headers = {'User-Agent':UserAgent().chrome} request = Request(url,headers=headers) # 使用代理的两种方式 # handler = ProxyHandler({"http":"ip:port"}) # handler = ProxyHandler({"http":"name:password@ip:port"}) handler = ProxyHandler({'http':'27.46.20.189:8888'}) # handler = ProxyHandler({"http": "398707160:j8inhg2g@39.105.117.225:16818"}) opener = build_opener(handler) response = opener.open(request) print(response.read().decode())
运行结果:
为什么结果中"origin"的值有两个,而且跟代理的ip不一样
使用proxy下载中间件之后,没有执行爬虫文件
老师这是什么情况,一直安装不了,python3 setup.py install
老师,我在配置网络的时候,不能够成功,我卸载重新安装也是不行。这是为什么呢?
room.zip
我现在是想在获得项目地址这个信息后,然后再获得查看更多楼盘详情里面的内容。 所以我在parse_info里面又进行了一次yield,发现代码不能够执行base_info函数里面的代码,难道说是这个yield只能在 parse函数里面执行吗?
mongo.zip
老师,我这个代码可以运行,但是数据不能够保存到mongo数据库中,这是为什么呢?
老师,mongodb中怎么获取所有的字段名呢?
老师 我运行的时候得到了 <Element html at 0x276ac8e2400> 这个 而我真正想得到的是文字 这个怎么办
非常抱歉给您带来不好的体验!为了更深入的了解您的学习情况以及遇到的问题,您可以直接拨打投诉热线:
我们将在第一时间处理好您的问题!
关于
课程分类
百战程序员微信公众号
百战程序员微信小程序
©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园网站维护:百战汇智(北京)科技有限公司 京公网安备 11011402011233号 京ICP备18060230号-3 营业执照 经营许可证:京B2-20212637