会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132359个问题

from urllib.request import Request,build_opener,urlopen
from fake_useragent import UserAgent
from urllib.parse import urlencode
from urllib.request import HTTPCookieProcessor

login_url="https://www.mypianku.net/user/login/"
form_data={
    "user":"18628906572",
    "password":"x..k.d$2000$"
}
headers={
    "User-Agent":UserAgent().random}
req=Request(login_url,headers=headers,data=urlencode(form_data).encode())
opener=build_opener()
resp=opener.open(req)


#---------------------------登录成功--------------------


url="https://www.mypianku.net/user/account/"

headers={
    "User-Agent":UserAgent().random,
    "Cookie":"_pk_id.1.f469=6d7b76987328fd10.1626832666.; d_c=d_1412928085; vrg_sc=4bb1ca6010ff37986d716442a23afa73; vrg_go=1; pyad=2; player123=%E6%B2%90%E6%B5%B4%E4%B9%8B%E7%8E%8BHD%23%23%2Fpy%2FlNmZxwmZsBTZ_1.html%23%235812%23%2394%24%24%E4%B8%80%E8%B7%AF%E6%83%8A%E5%96%9C%E6%AD%A3%E7%89%87%23%23%2Fpy%2FlNmZoRWMp1WM_1.html%23%23271%23%234%24%24%E4%B8%80%E8%B7%AF%E6%83%8A%E5%96%9C%E9%AB%98%E6%B8%85%23%23%2Fpy%2FlNGbrBTZ2wmY_1.html%23%23477%23%238%24%24%E6%B3%95%E5%8C%BB%E7%A7%A6%E6%98%8E2%E6%B8%85%E9%81%93%E5%A4%AB%E7%AC%AC2%E9%9B%86%23%23%2Fpy%2FlNGbmZjY3YmN_2.html%23%231479%23%2368%24%24%E6%B3%95%E5%8C%BB%E7%A7%A6%E6%98%8E%E7%AC%AC03%E9%9B%86%23%23%2Fpy%2FlRmNkdmZsRmN_3.html%23%23837%23%2342%24%24%E4%BA%BA%E5%86%8D%E5%9B%A7%E9%80%94%E4%B9%8B%E6%B3%B0%E5%9B%A7%E6%AD%A3%E7%89%87%23%23%2Fpy%2FlNmZkRjYjlDa_1.html%23%231206%23%2319%24%24%E9%80%9F%E5%BA%A6%E4%B8%8E%E6%BF%80%E6%83%853%EF%BC%9A%E4%B8%9C%E4%BA%AC%E6%BC%82%E7%A7%BBHD1280%E9%AB%98%E6%B8%85%E4%B8%AD%E5%AD%97%E7%89%88%23%23%2Fpy%2FlNWZ5wWb2ADb_1.html%23%23783%23%2313%24%24%E9%80%9F%E5%BA%A6%E4%B8%8E%E6%BF%80%E6%83%856HD1280%E9%AB%98%E6%B8%85%E4%B8%AD%E8%8B%B1%E5%8F%8C%E5%AD%97%E7%89%88%23%23%2Fpy%2FlNWZ5wWb2MzZ_1.html%23%235487%23%2370%24%24%E7%88%B1%E6%83%85%E5%85%AC%E5%AF%93%E7%AC%AC02%E9%9B%86%23%23%2Fpy%2FlRWZ3kGatNDZ_2.html%23%235%23%230%24%24; _pk_ref.1.f469=%5B%22%22%2C%22%22%2C1628861961%2C%22https%3A%2F%2Fcn.bing.com%2F%22%5D; _pk_ses.1.f469=1; PHPSESSID=iihse8vlb216gg5fdg3gp1enr2; Pianku_auth=06c5N-Pw7RaPoL7AOK2gZ9aIXMWGJb9xfbzdsIoHXUhn5Z-bGs1l68_Lhs7og6jww6iG_WLRbyEnhRXTbu_vthptMBgPXAm5yYV9rJlFKV2fnCs086hqg2uotFTErgHhyApWJTPsdVY19PwZJf_HwhyE7FcC83swIfUitbx_hsbqF2XVCp-zj5IU12U; Pianku_cookietime=95b9iaLnS9KECMWRwUf-834BhwpxfnYShmmwOys_Yp0DjXcSV_C1"
}
request=Request(url,headers=headers)
response=urlopen(request)
print(response.read().decode())
老师,请问导入下面这行代码是什么意思呢?
from urllib.request import HTTPCookieProcessor


Python 全系列/第十五阶段:Python 爬虫开发/scrapy框架使用(旧) 721楼
Python 全系列/第十五阶段:Python 爬虫开发/scrapy框架使用(旧) 724楼
Python 全系列/第十五阶段:Python 爬虫开发/Python爬虫基础与应用 725楼

from bs4 import BeautifulSoup
import bs4
import requests


# 获取网页内容

def get_html_text(url):
    try:
        head = {'User-Agent': 'Chrome/10'}
        r = requests.get(url, headers=head)
        r.raise_for_status
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''


# 解析网页内容,保存到列表中

def save_to_list(lst, html):
    soup = BeautifulSoup(html, 'html.parser')
    for tr in soup('tbody')[0].children:
       if isinstance(tr,bs4.element.Tag):
           tds=tr('td')
           lst.append([tds[0].text, tds[1].text, tds[2].text, tds[3].text])


# 打印排名内容

def print_info(lst, start_num,end_num):
    for i in range(start_num,end_num+1):
        u = lst[i]
        # print(ulist)
        print("{0:^15}{1:^15}{2:^15}{3:^15}".format(u[0],u[1],u[2],u[3]))
def main():
    url = 'https://www.dxsbb.com/news/46725.html'
    lst = []
    html = get_html_text(url)
    save_to_list(lst,html)
    print_info(lst,0,100)


if __name__ == '__main__':
    main()
    
 老师,这是一个获取大学排名的定向爬虫,有个问题,就是输出来的内容不对齐,请问怎么处理?如下所示请问怎么处理?

输入内容如下:

 排名             名称             所在地           生源质量分     

       1            清华大学            北京             100      

       2            北京大学            北京            96.4      

       3          中国科学技术大学          安徽            92.1      

       4            复旦大学            上海            91.5      

       5           中国人民大学           北京            90.8      

       6           上海交通大学           上海            90.5      

       7            南京大学            江苏            88.4      

       8            同济大学            上海             87       

       9            浙江大学            浙江            86.3      

      10           上海财经大学           上海            86.2      

      11            南开大学            天津            85.9      

      12          北京航空航天大学          北京            85.4      

      13           中央财经大学           北京            85.2      

      14           北京师范大学           北京            85.1      

      15            武汉大学            湖北            84.4      

      16          对外经济贸易大学          北京            84.2      

      17           西安交通大学           陕西            83.6      

      18            天津大学            天津            82.5      

      19           华中科技大学           湖北            82.4      

      20           北京理工大学           北京            82.1      

      21            东南大学            江苏            81.8      

      22           北京外国语大学          北京            81.8      

      23            中山大学            广东            81.1      

      24           中国政法大学           北京            80.8      

      25           华东师范大学           上海            79.4      

      26           哈尔滨工业大学          黑龙江           78.2      

      27           北京邮电大学           北京            78.2      

      28            厦门大学            福建            77.9      

      29           上海外国语大学          上海            77.5      

      30           西北工业大学           陕西            77.1      

      31           西南财经大学           四川            76.6      

      32            中南大学            湖南             76       

      33           大连理工大学           辽宁            75.8      

      34           中国传媒大学           北京            75.8      

      35            四川大学            四川            75.7      

      36           电子科技大学           四川            75.4      

      37          中南财经政法大学          湖北            75.1      

      38           华南理工大学           广东            74.8      

      39            吉林大学            吉林            74.4      

      40          南京航空航天大学          江苏            74.4      

      41            湖南大学            湖南            74.2      

      42            重庆大学            重庆            73.8      

      43           北京科技大学           北京            73.8      

      44           北京交通大学           北京            73.5      

      45            山东大学            山东            73.4      

      46           华东理工大学           上海            72.9      

      47          西安电子科技大学          陕西            72.2      

      48           天津医科大学           天津            72.1      

      49           南京理工大学           江苏            71.8      

      50           中国农业大学           北京             71       

      51           华中师范大学           湖北            70.2      

      52           中国海洋大学           山东             70       

      53           哈尔滨工程大学          黑龙江           69.8      

      54           中央民族大学           北京            69.8      

      55           华北电力大学           北京            69.7      

      56           北京中医药大学          北京            69.7      

      57            暨南大学            广东            69.6      

      58            苏州大学            江苏            69.5      

      59           武汉理工大学           湖北            69.4      

      60            东北大学            辽宁             69       

      61            兰州大学            甘肃            68.7      

      62           中国药科大学           江苏            68.4      

      63            东华大学            上海            68.2      

      64            河海大学            江苏            68.1      

      65           北京林业大学           北京             68       

      66           河北工业大学           河北            67.9      

      67           北京工业大学           北京            67.3      

      68            江南大学            江苏            67.2      

      69           北京化工大学           北京            67.1      

      70           西南交通大学           四川            66.8      

      71            上海大学            上海            66.7      

      72           南京师范大学           江苏            66.4      

      73         中国地质大学(武汉)         湖北            65.3      

      74         中国地质大学(北京)         北京            65.1      

      75            西北大学            陕西            64.6      

      76           东北师范大学           吉林            64.5      

      77            长安大学            陕西            64.4      

      78         中国矿业大学(北京)         北京             64       

      79           华中农业大学           湖北            63.7      

      80           合肥工业大学           安徽            63.7      

      81            广西大学            广西            63.5      

      82         中国石油大学(华东)         山东            63.3      

      83           陕西师范大学           陕西            63.3      

      84           南京农业大学           江苏             63       

      85           湖南师范大学           湖南            62.8      

      86            福州大学            福建            62.6      

      87           大连海事大学           辽宁            62.3      

      88          西北农林科技大学          陕西            62.1      

      89            西南大学            重庆            61.1      

      90           中国矿业大学           江苏             61       

      91            云南大学            云南            60.3      

      92           太原理工大学           山西            60.3      

      93           华南师范大学           广东             60       

      94           北京体育大学           北京             60       

      95         中国石油大学(北京)         北京            59.5      

      96            安徽大学            安徽            59.2      

      97           东北林业大学           黑龙江           58.2      

      98           东北农业大学           黑龙江            58       

      99            辽宁大学            辽宁            57.9      

      100           南昌大学            江西            52.4      


Python 全系列/第十五阶段:Python 爬虫开发/爬虫反反爬- 727楼
Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础 728楼

当我使用这个正则能够匹配出数据,但是不能对应文字

re.findall(r'<div class="qiushi" id="article[2-5][0-9]">',resp.text

image.png

但是我一旦加上这些就会出现匹配不成功的混乱现象

image.png

求老师帮我找一下问题在哪里,这是网页部分源码:

['我:姐,家里还有黄瓜吗?<br/>姐:没有。问有没有黄瓜干什么?<br/>我:有用。<br/>说完我就看到老姐不安分的笑了,然后就出门了,我慌忙开门问她去干什么,她说:我去挑两根好黄瓜来。<br/>姐、不是,我、我只是想用它来贴脸.....擦</div><div class="qiushi_counts " id="qiushi_counts_22"><div class="counts"><div id="score-22" class="score" style="display:inline"><p class="vote"><a href="javascript:vote2(22,1)" id="vote-up-22" class="vote"><strong>支持(<span id="up-22">6</span>)</strong></a>&nbsp;|&nbsp;<a href="javascript:vote2(22,-1)" id="vote-dn-22" class="down"><strong>反对(<span id="dn-22">-2</span>)</strong></a>&nbsp;|&nbsp;<a class="qiushi_comments" id="c-22" href="http://qiushi.92game.net/e/zxfcode/92game_commentlist.php?id=22&classid=1&page=1"><strong>评论(0)</strong></a></p></div></div></div><br><p class="user"><a href="/users/?uid=2"><img src="http://qiushi.92game.net/e/zxfcode/92game_avatar.php?uid=2"/>糗事小编</a> </p><div class="qiushi" id="article23">就刚刚我在摸老婆mm,老婆让我别摸了我不听,她就用足了劲冲我手打了上来,只听啊得一声我的手躲开了。</div>

Python 全系列/第十五阶段:Python 爬虫开发/爬虫反反爬- 729楼
Python 全系列/第十五阶段:Python 爬虫开发/scrapy框架使用 731楼
Python 全系列/第十五阶段:Python 爬虫开发/移动端爬虫 732楼
Python 全系列/第十五阶段:Python 爬虫开发/移动端爬虫开发- 733楼
Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础(旧) 735楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637