爬虫自动化脚本+AI赋能

技术分享 1年前 (2024-12-24) 0 999+

关注

简介

估计大家对网页爬取和数据抓取已经有所了解，市面上也有许多现成的软件可供使用。例如，前几天群里有位朋友利用爬虫技术抓取了AV网站，并搭建了一个磁力链接站点😂。

本文将介绍如何模拟手动操作，将一些繁琐的固定操作转化为自动化流程。

声明

本文仅分享编写自动化脚本的心得，与其他内容及本人无关。

！！！

为了顺利发表文章，本文将展示如何登录博客园账号，并打印出所有评论。
亮点包括：

如何绕过登录时的验证码？
如何获取未经过 SSR 渲染且需要认证的评论列表？

这些奇淫技巧一应俱全，学习后受益匪浅，切记珍惜！

教程

1. 安装自动化脚本包

在项目文件中添加以下包引用：

<ItemGroup>     <PackageReference Include="HtmlAgilityPack" Version="1.11.54" />     <PackageReference Include="Selenium.WebDriver" Version="4.13.1" /> </ItemGroup>

2. 登录

使用以下 C# 代码进行登录操作：

// 输入账号 IWebElement accountElement = webDriver.FindElement(By.CssSelector("#mat-input-0")); accountElement.SendKeys(account); var element_account = accountElement.GetAttribute("value");  // 输入密码 IWebElement passwordElement = webDriver.FindElement(By.CssSelector("#mat-input-1")); passwordElement.SendKeys(password); var element_password = passwordElement.GetAttribute("value");  // 核对账号密码是否正确输入 if (account != element_account || password != element_password) {     throw new Exception("页面账号密码输入有误！"); }

3. 点击验证按钮

// 点击登录按钮 IWebElement loginBtnElement = webDriver.FindElement(By.CssSelector(@"body > app-root > app-sign-in-layout > div > div > app-sign-in > app-content-container > div > div > div > form > div > button")); loginBtnElement.Click(); // 第一次点击，弹出验证  // 点击验证按钮 IWebElement verifyBtnElement = webDriver.FindElement(By.CssSelector(@"#rectMask")); // 注意：需要隐藏自动化特征，详见第27行代码 verifyBtnElement.Click();

4. 获取评论的三种方式

之所以提供三种方式，是因为部分网站对自己的接口进行了反自动化验证，但第三方接口通常可行！

4.1 通过页面元素爬取

IWebElement tableElement = webDriver.FindElement(By.XPath(@"/html/body/cnb-root/cnb-app-layout/div[2]/as-split/as-split-area[2]/div/div/cnb-spinner/div/cnb-comment-main/cnb-spinner/div/div[2]/table")); // 提取表格主体 IWebElement tbody = tableElement.FindElement(By.TagName("tbody")); IList<IWebElement> rows = tbody.FindElements(By.TagName("tr"));  // 初始化列表存储表格数据 List<string> tableData = new List<string>();  foreach (var row in rows) {     IList<IWebElement> cells = row.FindElements(By.TagName("td"));      // 处理表头单元格     if (cells.Count == 0)     {         cells = row.FindElements(By.TagName("th"));     }      List<string> cellTexts = new List<string>();      foreach (var cell in cells)     {         string cellText = cell.Text.Trim();         cellTexts.Add(cellText);     }      // 使用管道符作为分隔符，避免与数据中的逗号冲突     string rowData = string.Join(" | ", cellTexts);     tableData.Add(rowData); }  // 输出提取的数据 foreach (var row in tableData) {     Console.WriteLine(row); }

4.2 直接请求接口获取

// 导航到接口地址 webDriver.Navigate().GoToUrl(CnBlogs.CommentsGetApi);  var data = webDriver.PageSource;  Console.WriteLine(data);

4.3 伪造 HTML 元素，执行 Fetch 脚本获取内容

webDriver.Navigate().GoToUrl(CnBlogs.CommentsUrl); IJavaScriptExecutor executor = (IJavaScriptExecutor)webDriver; executor.ExecuteScript(@"     var container = document.createElement('div');     container.id = 'hiddenDataDiv';     container.style.display = 'none';     document.body.appendChild(container);     fetch('https://i.cnblogs.com/api/feedback/1?mine=false', {         headers: {             'accept': 'application/json, text/plain, */*',             'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',             'priority': 'u=1, i',             'sec-ch-ua': '"Microsoft Edge";v="131", "Chromium";v="131", "Not_A Brand";v="24"',             'sec-ch-ua-mobile': '?0',             'sec-ch-ua-platform': '"Windows"',             'sec-fetch-dest': 'empty',             'sec-fetch-mode': 'cors',             'sec-fetch-site': 'same-origin'         },         referrer: 'https://i.cnblogs.com/comments',         referrerPolicy: 'strict-origin-when-cross-origin',         method: 'GET',         mode: 'cors',         credentials: 'include'     })     .then(response => response.json())     .then(data => {         document.getElementById('hiddenDataDiv').textContent = JSON.stringify(data);     })     .catch(error => console.error('Error:', error)); "); string jsonData = executor.ExecuteScript("return document.getElementById('hiddenDataDiv').textContent;").ToString(); Console.WriteLine(jsonData);