老师 我运行的时候得到了 <Element html at 0x276ac8e2400> 这个 而我真正想得到的是文字 这个怎么办
老师我想请问一下 这个 为什么使用代理会不成功,我不用代理直接爬取京东还能返回数据用了就直接不行 是不是使用代理的原因
老师,你好!使用yield scrapy.Request推送数据,接收不到url,麻烦帮忙看一下,谢谢!
以下是代码文件
xiaoshuo1.zip
cookie一定要有该网站的账号和密码后,才能获得吗?
看这个代码好像跟虚拟机没什么关系啊,怎么把爬虫部署到slave上的
from urllib.request import Request, build_opener from fake_useragent import UserAgent from urllib.request import HTTPHandler url = 'http://httpbin.org/get' ua = UserAgent() # print(ua.random) headers = { 'User-Agent': ua.chrome } request = Request(url, headers=headers) # HTTP控制器 handler = HTTPHandler() opener = build_opener(handler) response = opener.open(url) print(response.read().decode())
为什么这个请求头中User—Agent 是没有伪装过的?
from urllib.request import Request from urllib.request import urlopen from fake_useragent import UserAgent url = "https://music.163.com/user/home?id=1320628122" headers = { 'User-Agent':UserAgent().random } req = Request(url,headers=headers) response = urlopen(req) print(response.read().decode())
老师,我的代码和视频里一样,怎么报这个错了,编码用的是utf-8
老师,我打印response.text出现
{"msg": "", "code": 0, "data": {"next_url": "/activate/"}}
是被反爬了吗,所以获取不到数据
下载不了,请老师指点一下为什么会出现这个情况
代码:
import requests url="https://music.163.com/login" headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0 getUserInfoByUserId "} resp=requests.get(url,headers=headers) resp.encoding="utf-8" print(resp.content)
运行结果:
老师请问一下我使用request来登录网易云音乐,为什么结果是这样的呢?是不是哪里有问题?
老师,我一使用分布式爬虫就报错:由于目标计算机积极拒绝,无法连接。我自己使用其他方式就没发现这个问题,这个是为什么呢
老师,IE和Edge这两个的webdriver怎么设置的,我使用的是IE11, Edge 91.0.864.48,下载了对应的版本的Webdriver结果使用的时候报错
老师我想问安
装完在pycharm里面一值提示没有这个命令是什么原因在外面的CMD可以用,是要添加环境变量的原因吗?
按钮点击不了怎么办。。。。。。。。。。。。。。。。。。。
老师没有那两个按钮怎么办?这个不是谷歌浏览器,谷歌浏览器点不开页面
非常抱歉给您带来不好的体验!为了更深入的了解您的学习情况以及遇到的问题,您可以直接拨打投诉热线:
我们将在第一时间处理好您的问题!
关于
课程分类
百战程序员微信公众号
百战程序员微信小程序
©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园网站维护:百战汇智(北京)科技有限公司 京公网安备 11011402011233号 京ICP备18060230号-3 营业执照 经营许可证:京B2-20212637