正在加载中，请稍后
author 首页 关于 笔记

按回车搜索更多
Jsoup爬虫获取自己网站在百度搜索中的实时排名
2019-01-22 阅读 {{counts.readCount}} 评论 {{counts.commentCount}}

一直有一个需求，希望看到自己网站在百度的实时的排名
用过一些工具，要么反应迟钝，要么结果不准确或不实时
于是打算用jsoup写一个小爬虫来实时百度看网站排名

直接上代码


依赖只有jsoup
jar包下载地址:https://mvnrepository.com/artifact/org.jsoup/jsoup
或者引入
maven依赖

  1. <dependency>
  2.     <groupId>org.jsoup</groupId>
  3.     <artifactId>jsoup</artifactId>
  4.     <version>1.11.3</version>
  5. </dependency>


代码

  1. package com.zzzmh.spider;
  3. import java.util.ArrayList;
  4. import java.util.HashMap;
  5. import java.util.List;
  6. import java.util.Map;
  8. import org.jsoup.Jsoup;
  9. import org.jsoup.nodes.Document;
  10. import org.jsoup.nodes.Element;
  11. import org.jsoup.select.Elements;
  13. public class test {
  14.     /** 百度搜索基本url 后面可以接的参数有 pn rn ie 等 */
  15.     public final static String baseUrl = "https://www.baidu.com/s?ie=utf-8";
  16.     /** 连接超时时间 */
  17.     public static int timeout = 30 * 1000;
  18.     /** 连接重试次数 */
  19.     public static int times = 10;
  20.     /** UA */
  21.     public static String UserAgent[] = {
  22.             "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
  23.             "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
  24.             "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
  25.             "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
  26.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36 OPR/37.0.2178.32",
  27.             "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",
  28.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 UBrowser/5.6.12150.8 Safari/537.36",
  29.             "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
  30.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36 OPR/37.0.2178.32" };
  32.     /** 获取随机UA */
  33.     public static String getRandomUA() {
  34.         return UserAgent[(int) (Math.random() * (UserAgent.length))];
  35.     }
  37.     /** 在这里进行连接 如果失败会继续重试 */
  38.     public static Document getDocument(String url) {
  39.         Document doc = null;
  40.         for (int i = 0; i < times; i++) {
  41.             try {
  42.                 doc = Jsoup.connect(url).header("User-Agent", getRandomUA()).timeout(timeout).get();
  43.                 if (doc != null)
  44.                     break;
  45.             } catch (Exception e) {
  46.                 e.printStackTrace();
  47.             }
  48.         }
  49.         return doc;
  50.     }
  52.     /**
  53.      * 爬取百度指定关键字和页码的数据，只存id(排名号)，title，url(百度会把url缩写) 亲测虽然
  54.      * 加了&rn=50可以明显增加效率，但结果和用户实际看到的有所出入，并不准确，故用默认rn，与用户实际看到保持一致
  55.      * 
  56.      * @param keyword 关键字
  57.      * @param page    页码
  58.      */
  59.     public static List<Map<String, String>> spider(String keyword, int page) {
  60.         List<Map<String, String>> result = new ArrayList<>();
  61.         try {
  62.             Document document = getDocument(baseUrl + "&wd=" + keyword + "&pn=" + (page * 10));
  63.             Elements els = document.getElementsByClass("result");
  64.             for (Element el : els) {
  65.                 Map<String, String> map = new HashMap<>();
  66.                 try {
  67.                     map.put("id", el.attr("id"));
  68.                     map.put("title", el.getElementsByTag("a").get(0).text());
  69.                     map.put("url", el.getElementsByClass("f13").get(0).getElementsByTag("a").text());
  70.                     result.add(map);
  71.                 } catch (Exception e) {
  72.                 }
  74.             }
  75.         } catch (Exception e) {
  76.             e.printStackTrace();
  77.         }
  78.         return result;
  79.     }
  81.     /**
  82.      * 分析在指定关键字在百度的排名
  83.      * 
  84.      * @param keyword 关键字
  85.      * @param url     要找的目标包含的url
  86.      * @param maxPage 最多找几页，防止死循环
  87.      * @return 找得到返回map 超过最大页码还找不到返回null
  88.      */
  89.     public static Map<String, String> BaiduRanking(String keyword, String url, int maxPage) {
  90.         System.out.println("开始查找百度中关键字为 \"" + keyword + "\" 且url包含 \"" 
  91.                 + url + "\" 的相关数据排名 最多查询 " + maxPage + "页");
  92.         for (int i = 0; i < maxPage; i++) {
  93.             // 输出当前页码和个数，不需要输出可以去掉
  94.             System.out.println("正在查询第" + i + "页中的第" + (i * 10 + 1) + " ~ " + ((i + 1) * 10) + "个");
  95.             List<Map<String, String>> list = spider(keyword, i);
  96.             for (Map<String, String> map : list) {
  97.                 if (map.get("url").contains(url)) {
  98.                     return map;
  99.                 }
  100.             }
  101.         }
  102.         return null;
  103.     }
  105.     public static void main(String[] args) {
  106.         /*
  107.          * 例如 找关键字 极简壁纸 主要的网址特征 bz.zzzmh.cn 最多找20页 (相当于找1~200个中有无匹配)
  108.          * 若有匹配返回 id title url
  109.          * 若无匹配返回 Null
  110.          */
  111.         System.out.println(BaiduRanking("极简插件", "zzzmh.cn", 20));
  112.     }
  113. }


效果

1、网站标题: zzzmh’s blog 网站url: https://zzzmh.cn
参数：

  1. 关键字: "zzzmh" 目标包含url: "zzzmh.cn" 最多查询页数: "20"

运行结果：

  1. 开始查找百度中关键字为 "zzzmh" 且url包含 "zzzmh.cn" 的相关数据排名 最多查询 20页
  2. 正在查询第0页中的第1 ~ 10个
  3. 正在查询第1页中的第11 ~ 20个
  4. {id=13, title=zzzmh's Blog - Design By zmh, url=https://zzzmh.cn/  百度快照}



2、网站标题: 极简壁纸… 网站url: https://bz.zzzmh.cn
参数：

  1. 关键字: "极简壁纸" 目标包含url: "zzzmh.cn" 最多查询页数: "20"

运行结果：

  1. 开始查找百度中关键字为 "极简壁纸" 且url包含 "zzzmh.cn" 的相关数据排名 最多查询 20页
  2. 正在查询第0页中的第1 ~ 10个
  3. 正在查询第1页中的第11 ~ 20个
  4. 正在查询第2页中的第21 ~ 30个
  5. 正在查询第3页中的第31 ~ 40个
  6. 正在查询第4页中的第41 ~ 50个
  7. 正在查询第5页中的第51 ~ 60个
  8. 正在查询第6页中的第61 ~ 70个
  9. 正在查询第7页中的第71 ~ 80个
  10. 正在查询第8页中的第81 ~ 90个
  11. 正在查询第9页中的第91 ~ 100个
  12. {id=93, title=极简壁纸_极致严选高清电脑桌面壁纸美图4k_最潮桌面壁纸网站, url=https://bz.zzzmh.cn/  百度快照}



3、网站标题: 极简插件… 网站url: https://chrome.zzzmh.cn
参数：

  1. 关键字: "极简插件" 目标包含url: "zzzmh.cn" 最多查询页数: "20"

运行结果：

  1. 开始查找百度中关键字为 "极简插件" 且url包含 "zzzmh.cn" 的相关数据排名 最多查询 20页
  2. 正在查询第0页中的第1 ~ 10个
  3. 正在查询第1页中的第11 ~ 20个
  4. 正在查询第2页中的第21 ~ 30个
  5. 正在查询第3页中的第31 ~ 40个
  6. 正在查询第4页中的第41 ~ 50个
  7. 正在查询第5页中的第51 ~ 60个
  8. 正在查询第6页中的第61 ~ 70个
  9. 正在查询第7页中的第71 ~ 80个
  10. 正在查询第8页中的第81 ~ 90个
  11. 正在查询第9页中的第91 ~ 100个
  12. 正在查询第10页中的第101 ~ 110个
  13. 正在查询第11页中的第111 ~ 120个
  14. 正在查询第12页中的第121 ~ 130个
  15. 正在查询第13页中的第131 ~ 140个
  16. 正在查询第14页中的第141 ~ 150个
  17. 正在查询第15页中的第151 ~ 160个
  18. 正在查询第16页中的第161 ~ 170个
  19. 正在查询第17页中的第171 ~ 180个
  20. 正在查询第18页中的第181 ~ 190个
  21. 正在查询第19页中的第191 ~ 200个
  22. null


补充:
1. 有结果返回map包含id、title、url。没有结果返回 Null
2. 百度搜索的url可以指定rn页码，最多一页50个，使用后有效减少了连接次数。但亲测下来设置过rn以后的结果与实际用户在百度搜索的结果排序和个数都有出入。故选择用默认rn来检测，效果最准确。


END

提交
评论区空空如也，赶紧添加一条评论吧 评论 {{counts.commentCount}}
{{comment.name}} {{comment.os}} {{comment.browser}}
{{dateFormatter(comment.createTime)}}

{{comment.message}}

{{comment.reply.name}} {{comment.reply.os}} {{comment.reply.browser}}
{{dateFormatter(comment.reply.createTime)}}

{{comment.reply.message}}

 zzzmh
关于我 留言板

网址导航
{{alert.message}}
留言板 * 站长不经常查看信箱 若有重要事宜联系邮箱 admin@zzzmh.cn 取消 发送
云朵 ChungZH 起航天空 yiranzai 前端大爆炸 Web前端之家 前端博客 shirmy 小宁博客 pdbn LOGI 鄢云峰 边界AI
Copyright © 2024 上海藏原羚工作室 沪ICP备18011999号 沪公网安备31010602005070号
微信公众号