搜索内容

数据采集
  • 数据采集

    记一次完整的数据请求返回流程

    前言 爬虫对于每个人的体验估计都是不同的,因为每个人的起点不同,在本篇内容中,根据我的理解,阐述一下请求的整个流程,由点及面的讲述那些我们没注意到的……
    hyzsj0106 2021-05-05
  • 数据采集

    超级鹰打码平台

    超级鹰官网有一个api,下面是我根据自己需要改的。 提交图片,返回数据,提交错误信息 import requests from hashlib import md5 class Chaojiying(object):……
    hyzsj0106 2021-04-07
  • 数据采集

    字体反爬虫

    案例网址:http://www.porters.vip/confusion/movie.html 图片中的关键位置用到了字体反爬,比如评分的数字,我们调试模式查看时,会看到很多: □ ,在源代码……
    hyzsj0106 2021-04-07
  • 数据采集

    SVG映射反爬虫

    SVG映射反爬虫,是将关键的数字用 `<d></d> `去替换了。只要找到映射关系就好了。 目标网址:http://www.porters.vip/confusion/food.html 适合映……
    hyzsj0106 2021-04-07
  • 数据采集

    CSS偏移反爬虫

    我们的目标url:http://www.porters.vip/confusion/flight.html 这次和以往遇到的不一样,我们爬取到的价格和页面显示的并不一样,经过分析,可以看到原来的位……
    hyzsj0106 2021-04-07
  • 数据采集

    百度文字识别OCR模板

    使用须知 将 python 代码复制到本地 py 文件 将 img 文件夹放到与 py 文件同级目录 设置好自己申请的 API_Key 和 Secret_Key 申请地址:https://ai.baidu.com……
    hyzsj0106 2021-04-07
  • 数据采集

    图片伪装反爬虫

    目标网址:http://www.porters.vip/confusion/recruit.html 爬取企业名称和联系电话: 但是这次不同的是,电话是一个图片,我们需要抓取图片,再用文字识别。 ……
    hyzsj0106 2021-04-07
  • 数据采集

    Python爬虫总览

      App逆向     信息校验 User-Agent、Cookie、Token、Referer WebSocket 文本混淆 图片混淆反爬虫: 字体反爬 CSS偏移 SVG映射 动态渲染 &nbs……
    hyzsj0106 2021-04-07
  • 数据采集

    如何优雅的结束爬虫程序

    我们可以写一个函数,这个函数就是加载一些配置文件,读取数据库等等 配置文件 import json def load_conf(self) with open('spider.json','r')as f: ……
    hyzsj0106 2021-03-24
  • 数据采集

    分布式爬虫

    架构图
    hyzsj0106 2021-03-07