python教程

批量获取网站百度谷歌360权重Python源码

我的站长站 2023-06-27 人阅读

批量获取网站百度谷歌360权重Python源码,采用随机ua,批量抓取网站的权重。    

import requests
from bs4 import BeautifulSoup
import time
import random
 
# 读取文件内容
with open('www.txt', 'r') as f:
  content = f.read()
 
# 提取域名列表
domains = content.split('\n')
 
# 定义多个User-Agent头部
user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36',
    # 更多 User-Agent 头部...
]
 
 
 
# 遍历域名列表
for domain in domains:
 
    # 随机选取一个 User-Agent 头部
    user_agent = random.choice(user_agents)
    headers = {'User-Agent': user_agent}
     
  # 发送请求
    url = f'https://www.aizhan.com/cha/{domain}/'
    res = requests.get(url, headers=headers)
 
  # 解析响应
    soup = BeautifulSoup(res.text, 'html.parser')
 
    baidu_rank_img = soup.find(id='baidurank_br').find('img')
    baidu_rank = baidu_rank_img['alt']
    if   baidu_rank != "n":
        baidu_rank = int(baidu_rank)
    else:
        baidu_rank = int("0")
 
# 找到移动权重信息
    mobile_rank_img = soup.find(id='baidurank_mbr').find('img')
    mobile_rank = mobile_rank_img['alt']
    if mobile_rank != "n":
        mobile_rank = int(mobile_rank)
    else:
        mobile_rank = int("0")
 
# 找到360权重信息
    so_rank_img = soup.find(id='360_pr').find('img')
    so_rank_rank = so_rank_img['alt']
    if so_rank_rank != "n":
        so_rank_rank = int(so_rank_rank)
    else:
        so_rank_rank = int("0")
 
# 找到谷歌权重信息
    google_rank_img = soup.find(id='google_pr').find('img')
    if google_rank_img:
        google_rank = int(google_rank_img['alt'])
     
    if baidu_rank >= 1 or mobile_rank >= 1 or google_rank >= 3:
        print(f"{domain}")
 
  # 暂停 1 到 2 秒之间的随机时间
    time.sleep(random.randint(1, 2))


相关推荐
  • 网站权重
  • Python源码
  • 什么是网站权重?

    什么是网站权重?网站权重是指搜索引擎给网站(包括网页)赋予一定的权威值,对网站(含网页)权威的评估评价。一个网站权重越高,在搜索引擎所占的份量越大,在搜索引擎排名就越好。提高网站权重,不但利于网站(包括网页)在搜索引擎的排名更靠前,还能提高整站的流量,提高...

    网站优化 235 4年前
  • 草根站长的创业之路

    我是一个无身份、无配景、学历也不是很高、无位置、无资金的穷光蛋,按事理说,我如许的人胜利的概率太小了,我的创业之路能够说是血泪史,既然本日有缘来和人人相见,那末我就要完备的先容一下我是若何从一个四无穷光蛋+呆子站长蜕变成为一个胜利的站长和营...

    经验分享 292 7年前
  • 网站权重是如何计算的

    一、什么是网站权重引用下百科解释:权重是指某一因素或指标相对于某一事物的重要程度,强调的是因素或指标的相对重要程度,通常通过划分多个层次指标进行判断和计算。大白话翻一下:这里抽象的理解下,权重就是考试得分,网站就是数学试卷,通过,选择题、填空题、...

    经验分享 441 4年前
  • Json压缩和格式化工具,附Python源码
    Json压缩和格式化工具,附Python源码

    软件介绍一款Json压缩和格式化工具,可以在线Json压缩和格式化。基于Python库开发,附上Python源码,GUI没有美化,巨丑。软件截图Python源码import jsonimport tkinter as tkdef json_compress(json_str...

    开发软件 34 10个月前
  • python打飞机小游戏源码+成品打包

    python源码用的pygame库,自带的random和os。程序运行需要的图片,声音和字体下载链接: https://pan.baidu.com/s/1KItG2usXOM_xcxcdHIixaw 提取码: qmweimport pygameimport randomimport os FPS = 60WIDTH = 500HEIGHT = 600 BLACK = (0, 0, 0)WHITE =...

    python教程 42 10个月前
  • 原创力文库Python爬虫下载源码

    # !/usr/bin/python# -*- coding: UTF-8 -*-import reimport jsonimport osimport shutilimport sysimport timeimport requestsimport img2pdffrom PIL import Image from alive_progress import alive_barfrom requests.exceptions import SSLErro...

    python教程 54 1年前
最新更新