老师您好：

    streamlit 用不了 给个解决方案

我这个"origin": "180.110.24.124, 180.110.24.124",为什么会有两个一样的ip打印出来？会对高匿有影响么？

from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.request import ProxyHandler

url = 'http://httpbin.org/get'

headers = {'User-Agent':UserAgent().chrome}
req = Request(url,headers=headers)

handler = ProxyHandler({"http":"180.110.24.124:3456"})
opener = build_opener(handler)
resp = opener.open(req)
print(resp.read().decode())

start.py 位置的问题，放到spider目录下了。就不会爬取到内容

老师您好：

    streamlit 用不了怎么办 安装错误如图

为什么我的工具箱没载荷选项？

老师：我把Proxy-SwitchyOmega_v2.3.16拖进去出现这个情况。这个什么原因？

import requests
from PIL import Image
from fake_useragent import UserAgent
from urllib3.exceptions import InsecureRequestWarning
import urllib3
import json
urllib3.disable_warnings(InsecureRequestWarning)


def login():
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36"
    }
    session = requests.session()
    img_url = 'https://kyfw.12306.cn/passport/captcha/captcha-image?login_site=E&module=login&rand=sjrand'
    resp_img = session.get(img_url, headers=headers, verify=False)
    with open("yzm.png", "wb") as f:
        f.write(resp_img.content)
    a = Image.open("yzm.png")
    a.show()
    a.close()
    solution = input("请输入图片对应的号码，多张图片以,号隔开：")
    yzh_list = solution.split(",")
    zb_list = ['45,45', '119,49', '188,45', '269,42', '46,121', '101,120', '187,113', '259,112']
    zb_list1 = []
    for i in yzh_list:
        zb_list1.append(zb_list[int(i) - 1])
    yzm_1 = ",".join(zb_list1)
    yz_url = 'https://kyfw.12306.cn/passport/captcha/captcha-check'
    parameters = {
        'answer': yzm_1,
        'login_site': 'E',
        'rand': 'sjrand'
    }
    resp_check = session.get(yz_url, headers=headers, params=parameters, verify=False)
    code = json.loads(resp_check.text)
    # print(code)
    if code['result_code'] == '4':
        print("验证码校验成功")
        login_url = 'https://kyfw.12306.cn/passport/web/login'
        formdate = {
            "username": "143049962@qq.com",
            "password": "130342Abc",
            "appid": "otn"
        }
        resp_login = session.post(login_url, headers=headers, data=formdate, verify=False)
        code = json.loads(resp_login.content)


if __name__ == '__main__':
    login()

老师，我用网页登录12306，使用fiddler抓包可以得到json的响应信息，但是在pycharm中却不能用loads转换，帮忙看看是啥原因

没有公司怎么登陆

电影也爬不下来

这个第24行，为什么还是用原来那个 url 呢，为啥不用 index_url？

老师，我这边爬取网站遇到了几个问题，您能给我个思路吗？

这个是电商网站，我打开了好多网页，里面的信息规律完全不一样，没法使用xpath或者css来定位，也找不到规律。这个是不是只能通过将他的渲染过后的源码下载下来，然后在进行解析吗？还是说有其他的方法？

requests
hashlib md5


Chaojiying_Client():

    (usernamepasswordsoft_id):
        .username = username
        password = password.encode()

        .password = md5(password).hexdigest()
        .soft_id = soft_id
        .base_params = {
            : .username: .password: .soft_id}
        .headers = {
            : : }


    (imcodetype):
        params = {
            : codetype}
        params.update(.base_params)
        files = {: (im)}
        r = requests.post(=params=files=.headers)
        r.json()


    (im_id):
        params = {
            : im_id}
        params.update(.base_params)
        r = requests.post(=params=.headers)
        r.json()

(filenamecode_type=):
    chaojiying = Chaojiying_Client()  im = (filename).read()  resp = chaojiying.PostPic(imcode_type)   resp.get()

__name__ == :
    (get_code())

验证码识别不出来

找不到错误,就是无法修改图片名称

爬取一次之后就不能爬取了，建议爬取的时候在请求头里增加cookie属性，

def text_bs4():
    url = "https://www.maoyan.com/films"
    headers = {'User-Agent': UserAgent().firefox,
               "Cookie": 'uuid_n_v=v1; uuid=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         '_csrf=95caf440d93adc2cf97b85c916a33ea5d547aa09c22e33e4109c0771222dc415; '
                         '_lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; '
                         '_lxsdk_cuid=18adf587d66c8-037b0eb95fbfca-26031e51-1bcab9-18adf587d66c8; '
                         '_lxsdk=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         'Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1695964233; '
                         'Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1695965039; '
                         '__mta=142327309.1695964233411.1695964233411.1695965039712.2; '
                         '_lxsdk_s=18adf587d67-d26-b7b-f21%7C%7C4'}
    resp = requests.get(url, headers=headers)

    soup = BeautifulSoup(resp.text, 'lxml')
    names = [div.text.strip('\n') for div in soup.select("div.channel-detail.movie-item-title")]
    score = [div.text for div in soup.select("div.channel-detail.channel-detail-orange")]
    with open('猫眼bs4.txt', 'w', encoding='utf-8') as f:
        for n, s in zip(names, score):
            print(n, s ,file=f)

设置好了下载中间件为啥没用呢老师