搜索内容

数据采集
  • 数据采集

    python调用js文件实现密码加密

    1.安装nodejs 官网 https://nodejs.org/en/ 两个版本都可以(♥LTS♥) 2.安装jsdom npm install jsdom 国内网不好的也可以设置镜像源:https://www.cxywy.com/?p=……
    hyzsj0106 2021-08-10
  • 数据采集

    Python实现RSA加解密

    导入包 import binascii from Crypto.PublicKey import RSA from Crypto.Cipher import PKCS1_v1_5  加密方式 '''加密方法''' def encrypt(public_key, pla……
    hyzsj0106 2021-07-24
  • 数据采集

    代理IP的分类

    简单分类 静态IP:长效、短效,一次性售卖 动态IP[次数]:动态转发,按次数计费,卖操作 隧道IP:周期计费,IP自行提取,时效自由 动态IP[流量]:动态转发,按……
    hyzsj0106 2021-07-23
  • 数据采集

    爬虫-解决HTTPS证书认证

    解决思路: 优先使用不认证,简单暴力,还有效 运行或部署爬虫时,记得同步 pyopenssl 和 cryptography 操作系统越新,越不容易碰到SSL错误 1.跳过验证 ……
    hyzsj0106 2021-07-20
  • 数据采集

    记一次完整的数据请求返回流程

    前言 爬虫对于每个人的体验估计都是不同的,因为每个人的起点不同,在本篇内容中,根据我的理解,阐述一下请求的整个流程,由点及面的讲述那些我们没注意到的……
    hyzsj0106 2021-05-05
  • 数据采集

    超级鹰打码平台

    超级鹰官网有一个api,下面是我根据自己需要改的。 提交图片,返回数据,提交错误信息 import requests from hashlib import md5 class Chaojiying(object):……
    hyzsj0106 2021-04-07
  • 数据采集

    字体反爬虫

    案例网址:http://www.porters.vip/confusion/movie.html 图片中的关键位置用到了字体反爬,比如评分的数字,我们调试模式查看时,会看到很多: □ ,在源代码……
    hyzsj0106 2021-04-07
  • 数据采集

    SVG映射反爬虫

    SVG映射反爬虫,是将关键的数字用 `<d></d> `去替换了。只要找到映射关系就好了。 目标网址:http://www.porters.vip/confusion/food.html 适合映……
    hyzsj0106 2021-04-07
  • 数据采集

    CSS偏移反爬虫

    我们的目标url:http://www.porters.vip/confusion/flight.html 这次和以往遇到的不一样,我们爬取到的价格和页面显示的并不一样,经过分析,可以看到原来的位……
    hyzsj0106 2021-04-07
  • 数据采集

    百度文字识别OCR模板

    使用须知 将 python 代码复制到本地 py 文件 将 img 文件夹放到与 py 文件同级目录 设置好自己申请的 API_Key 和 Secret_Key 申请地址:https://ai.baidu.com……
    hyzsj0106 2021-04-07