RestSharp爬虫辅助 轻松发起含cookie的http请求

 时间:2024-11-15 05:14:37

有时候想要从网页上面爬取一点信息,但是又懒得自己手动一个一个复制粘贴,这个时候就可以通过代码发起http请求,将网页内容获取成字符串,再借助NSoup或者截取字符串,或者其他方式从字符串中提取需要的内容

方法/步骤

1、创建ASP.NETMVC项目MVCRestSharp用于演示RestSharp发起ht隋茚粟胫tp请求的使用方式。注意:最新版本的RestS茑霁酌绡harp需要4.6的Framework。如果使用低于4.6的Framework,下一步界面请选择低版本的RestSharp

RestSharp爬虫辅助 轻松发起含cookie的http请求

RestSharp爬虫辅助 轻松发起含cookie的http请求

2、在刚创建的MVCRestSharp项目上点击鼠标右键,选择【管理NuGet程序腻戴怯猡包】,在打开界面中点击【浏览】,输入【RestSharp】,选择搜索结果的第一个选项,点击敫嘹萦钻右侧的安装。注意:如果创建项目的时候不是选择的4.6Framework,此时请选择低版本的RestSharp

RestSharp爬虫辅助 轻松发起含cookie的http请求

RestSharp爬虫辅助 轻松发起含cookie的http请求

3、在HomeController的顶部添加RestSharp工具的引用

RestSharp爬虫辅助 轻松发起含cookie的http请求

4、如何发起一个页面的Http请求,大致有以下几步:1)创建RestClient实例,填充页面的地址2)设置超时时间3)设置请求方式get/post等4)执行请求,得到结果5)详细代码参见截图

RestSharp爬虫辅助 轻松发起含cookie的http请求

5、在HomeController中设置断点,按F5启动调试,监控请求结果,就可以看到页面的html内容

RestSharp爬虫辅助 轻松发起含cookie的http请求

6、在http请求时,如何将cookie作为参数发送过去呢?使用AddParameter方法,执行类型为ParameterType.Cookie即可

RestSharp爬虫辅助 轻松发起含cookie的http请求

7、如何发起一个http的Post请求:1)首先修改请求方式为Method.POST2)参数通过AddParameter方法添加即可

RestSharp爬虫辅助 轻松发起含cookie的http请求

loadrunner如何设置自带浏览器回放脚本 js如何获得button元素首个属性的名称 sqlserver如何获取指定日期的当年最后一天 使用DOS命令查找包含某一字符串的所有文件 jsp如何通过java获取页面传的参数值?
热门搜索
借种电影 ps怎么把图片变大 欢喜佛图片 棉被图片 美国纽约图片