cookie一定要有该网站的账号和密码后,才能获得吗?
看这个代码好像跟虚拟机没什么关系啊,怎么把爬虫部署到slave上的
from urllib.request import Request, build_opener from fake_useragent import UserAgent from urllib.request import HTTPHandler url = 'http://httpbin.org/get' ua = UserAgent() # print(ua.random) headers = { 'User-Agent': ua.chrome } request = Request(url, headers=headers) # HTTP控制器 handler = HTTPHandler() opener = build_opener(handler) response = opener.open(url) print(response.read().decode())
为什么这个请求头中User—Agent 是没有伪装过的?
from urllib.request import Request from urllib.request import urlopen from fake_useragent import UserAgent url = "https://music.163.com/user/home?id=1320628122" headers = { 'User-Agent':UserAgent().random } req = Request(url,headers=headers) response = urlopen(req) print(response.read().decode())
老师,我的代码和视频里一样,怎么报这个错了,编码用的是utf-8
老师,我打印response.text出现
{"msg": "", "code": 0, "data": {"next_url": "/activate/"}}
是被反爬了吗,所以获取不到数据
下载不了,请老师指点一下为什么会出现这个情况
代码:
import requests url="https://music.163.com/login" headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0 getUserInfoByUserId "} resp=requests.get(url,headers=headers) resp.encoding="utf-8" print(resp.content)
运行结果:
老师请问一下我使用request来登录网易云音乐,为什么结果是这样的呢?是不是哪里有问题?
老师,我一使用分布式爬虫就报错:由于目标计算机积极拒绝,无法连接。我自己使用其他方式就没发现这个问题,这个是为什么呢
老师,IE和Edge这两个的webdriver怎么设置的,我使用的是IE11, Edge 91.0.864.48,下载了对应的版本的Webdriver结果使用的时候报错
老师我想问安
装完在pycharm里面一值提示没有这个命令是什么原因在外面的CMD可以用,是要添加环境变量的原因吗?
按钮点击不了怎么办。。。。。。。。。。。。。。。。。。。
老师没有那两个按钮怎么办?这个不是谷歌浏览器,谷歌浏览器点不开页面
上课的文档能不能统一一下,有些打不开,有些打开很乱。
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener from fake_useragent import UserAgent from http.cookiejar import MozillaCookieJar from urllib.parse import urlencode def get_cookie(): url = "https://conch.xiami.com/api/passports/login?_xm_cf_=X7XmPS6phj26eeGtm36-k9NS" form_data={ "user":13629949237, "password":"hgc950226" } headers={"User-Agent":UserAgent().random} rep=Request(url,headers=headers,data=(urlencode(form_data).encode())) cookiejar=MozillaCookieJar() handle=HTTPCookieProcessor(cookiejar) opener=build_opener(handle) resp=opener.open(rep) cookiejar.save("cookie.txt",ignore_discard=True,ignore_expires=True) get_cookie() add_url="https://conch.xiami.com/"
结果:
老师请问一下,我使用cookie登录虾米音乐的时候,为什么会出现这个问题?
老师,您好
为什么防检测设置里的演示代码
没有设置驱动还可以成功
非常抱歉给您带来不好的体验!为了更深入的了解您的学习情况以及遇到的问题,您可以直接拨打投诉热线:
我们将在第一时间处理好您的问题!
关于
课程分类
百战程序员微信公众号
百战程序员微信小程序
©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园网站维护:百战汇智(北京)科技有限公司 京公网安备 11011402011233号 京ICP备18060230号-3 营业执照 经营许可证:京B2-20212637