老师,请问我调试程序的时候 debugger之后出现:
想请问这是怎么回事呀
然后想要重新执行程序的时候,出现下面的内容?想请问这是怎么回事呀?要怎么解决?
用crawlspider爬小说怎么停下来,爬取到最后一章时提取的下一章的url指向了目录页面,这样又会匹配到写的第一个rule了,又会从第一章开始爬了
安装whl 出现pip没有更新
可是我升级pip之后,还是出现一样的问题,说pip没有更新,为什么呀?导致whl安装不成功
老师,如何在网页源代码里面调出query黑色命令行
老师,我没使用cookie怎么直接登上来了,我试验网易云音乐也是,直接登上来了。
from urllib.request import Request,urlopen from fake_useragent import UserAgent url='https://www.itbaizhan.cn/' headers={ "User-Agent":UserAgent().random } request=Request(url,headers=headers) rep=urlopen(request) print(rep.read().decode())
1.
2.打开开发者模式,把它拖到谷歌浏览器的程序拓展里
3.就出现这种情况
4.放到搜狗浏览器可以使用,把打开方式改成谷歌也没用
start.py 位置的问题,放到spider目录下了。就不会爬取到内容
如图所示,log日志没有报错,也显示出来抓取到的内容,但没有文件生成是什么情况?
把Proxy-SwitchyOmega_v2.3.16文件拖到Google扩展程序的时候显示程序包无效。然后网上找方法又变成扩展程序又变成这样,打不开扩展文件的这个选项页面。
使用selenium如何访问,需要登录后才能访问的url
一、问题描述如下:
第一种登录方法
header信息内包含cookie信息,然后进行登录已经学会了。
第二种登录方法
首先爬虫登录,然后再进入用户界面。这个方法不会!
登录部分的爬虫,登录不成功,老师您帮忙解决下啊?
二、以下自己写的登录的爬虫代码:
from fake_useragent import UserAgent import requests login_url = "https://www.xiami.com/api/passport/login?_s=5f6dc7cd6de10b55330ddb181589a6bb&_xm_cf_=Dm7tbk5qvorx05qWM87w--zx" headers = { "User-Agent": UserAgent().random } form_data = { "account":"18233301608", "ncoSessionid":"01TYfee2_GraAMkskrBwFyr5N7Hv36ALHbgXhvniqZTFsla5-L3b7D7lHGFGTpBVKZD9bU_PCl1vapuvprHnGq5uy5tCnEO9h2-vlgYxj5u3kjftngikzTT5sGq4pMdRq_YjfjlKJ8sNRNxP0SdMi4Mn1uWsoswSwPHIca11tLxwc", "ncoSign":"05zCa5bJg-baNHof555vbNZh-c4S-6BY4BY4oXagczXJ6s4Zn5_UziyXeRCV6VTqDs3pl74vefKQJO1qRNtp3kWGyOunuJCMzvoZ8LCn4K7TmnETjhCtS2bqSoecARmW8A0vkKi9EXfHhYqQbQe4fZn9zdhIyz8AtvGLOoXsgWLLT-3SMVKvtgjWnUdFluC-EDnTMba0kZB5uk-lwptZzKDfJ2_J7undVWJgij0UvgjeFuJLXENJ4nh0_zZihR6GiYaPxXA0g109iuZuxKA_vhQJ-J0LlTG3BLKmOIybjsfjEyJcPJNqY-sE0xcOYoQrLlYPyk687rhKB-gEBCdjZyquhjg7OLw1QvNS1gEqvH2R5kmlQd5pmnin3iI8mucMm3pmQvOFg1n_tYHxBng4JfqQ", "ncoToken":"web_login_1564504886255_0.08087377440410681", "password":"e10adc3949ba59abbe56e057f20f883e" } resp = requests.post(login_url,headers=headers,data=form_data) print(resp.text)
三、以下是如何抓取登录的url,跟用户的账号密码等信息信息。
url
url.png
用户信息
用户信息.png
如果以上操作不正确,还请老师您给改正!
1、老师,这种滑块的验证如何登陆啊?
2、老师您帮忙看看我的这个代码是不是没有进入用户登录啊?
from fake_useragent import UserAgent import requests login_url = ""https://www.xiami.com/api/passport/login?_s=1c4b8c7df073c5f5d87c8c3d53696a80&_xm_cf_=8AbWYVbpKjqiKTOieajzdtRP"" headers = {"user-agent": UserAgent().random} form_data ={ "account":"18233301608", "ncoSessionid":"01l226v1bCklKZGaS4pM-XkexAHIXQJKMkheIWOYlE-tp_FJVxBE0fkn51blEkQ8qSFiRJRrODbFWU2wA-FVg4l6_ijMiHM99ATKr2LD2tbEEoswFpbuRk3JI-nSWcLf2TONkhHRXe2HqoHRrsLwwAbGyPlBJUEqctiaTooWaXr7I", "ncoSign":"05hsU0UmHVD-ozk047zGZbWfzLuhtVMjb_10CvaRGXwXl10MXSzcF_9bE2GGvgVMDdifepMAnw6Rn_2tZT3WyrGLbBKxgl_0DDEi7N56zYCUKS7gg10a799K-ucg9hOXJiiTxxvDz1Ns8gQI1KNIiNJv-VYFHHErD-4gmlRFljyr-5T5579_esKza3q0GSpobljee0w8cxy3tEkSiNuHss76-tYYvMzxGJ8sWhufa08AGlyrW3-ss0BQaY8rOV2-hO7M2RN7TqY7ZdyATDqxDvVrLFKnJHrkyqMPlCArpTVwisPzBSv0cO0KaYvsX8NsDgl8IFdMjyllNGeqO6_D5seeQrUv7a3LC_fnQlND7tPqWpOWDjUdnNbDHrufWtFPWq2PeK_y1yCIpd2N2lT0RgHg", "ncoToken":"web_login_1564373329605_0.958661482699025", "password":"e10adc3949ba59abbe56e057f20f883e" } session = requests.Session() resp = session.post(login_url,data=form_data,headers=headers) resp.encoding = 'utf-8' print(resp.text)
怎么样修改下代码才可以正确用户登录呢?
3、
虾米音乐登录URL地址.png
是这样获取,登录时的的URL吗?
self.new_url = set() 这行代码时什么意思不懂。
set()方法 没有封装怎么可以直接用呢?这个set()方法是什么意思啊?
我通过
pip3 install fake-useragent
下载fake-useragent库的时候一直提示我:error: could not create 'c:\program files\python37\Lib\site-packages\fake_useragent': 拒绝访问。
非常抱歉给您带来不好的体验!为了更深入的了解您的学习情况以及遇到的问题,您可以直接拨打投诉热线:
我们将在第一时间处理好您的问题!
关于
课程分类
百战程序员微信公众号
百战程序员微信小程序
©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园网站维护:百战汇智(北京)科技有限公司 京公网安备 11011402011233号 京ICP备18060230号-3 营业执照 经营许可证:京B2-20212637