注册 | 登陆
您的位置:阿里西西 > 编程技术 > PHP教程 > 详细内容

PHP通过伪造和模拟客户端COOKIE登陆来采集抓取远程网址页面内容的方法

  稿源:互联网   2018-09-14 01:01:07   点击:   撤稿纠错
平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。

以下讨论的是和伪造 模拟 客户端 COOKIE 登陆 采集 抓取 远程网址相关的PHP通过伪造和模拟客户端COOKIE登陆来采集抓取远程网址页面内容的方法 教程文章,内容是本站精心挑选整理的教程,希望对广大的网友给到帮助,下面是详细内容:

php模拟登陆

  平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。 大致思路:需要先请求提取 cookies 并保存,然后利用保存下来的这个cookies再次发送请求来获取页面内容,下面我们直接上代码

  1. /** 
  2.  * @Brief PHP读取Curl模拟登陆, 获取cookie, 带cookie进行请求 
  3.  * @Date: 2016/10/20
  4.  * @Time: 9:41 
  5.  */ 
  6. //设置cookie保存位置 
  7. $cookieFile = dirname(__FILE__).'cookie.curl.tmp'
  8. //第一步:获取cookie 
  9. $url = 'http://www.aseoe.com'
  10. $data = array
  11.     'username'  => 'aseoe'
  12.     'password'  => 'aseoe'
  13. ); 
  14. //curl初始化 
  15. $ch = curl_init(); 
  16. curl_setopt($ch, CURLOPT_URL, $url); 
  17. //设置为post请求 
  18. curl_setopt($ch, CURLOPT_POST, true); 
  19. //设置附带返回header信息为空 
  20. curl_setopt($ch, CURLOPT_HEADER, 0); 
  21. //post数据 
  22. curl_setopt($ch, CURLOPT_POSTFIELDS, $data); 
  23. //cookie保存文件位置 
  24. curl_setopt($ch, CURLOPT_COOKIEJAR, $cookieFile); 
  25. //设置数据返回作为变量储存,而不是直接输出 
  26. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
  27. //执行请求 
  28. $ret = curl_exec($ch); 
  29. //关闭连接 
  30. curl_close($ch); 
  31. //第二步:附带cookie请求需要登陆的页面 
  32. $url = 'http://www.aseoe.com'
  33. //curl初始化 
  34. $ch = curl_init(); 
  35. curl_setopt($ch, CURLOPT_URL, $url); 
  36. //设置为post请求 
  37. curl_setopt($ch, CURLOPT_POST, true); 
  38. //设置附带返回header信息为空 
  39. curl_setopt($ch, CURLOPT_HEADER, 0); 
  40. //设置cookie信息文件位置, 注意与第二步中的获取不同,这里是读取 
  41. curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieFile); 
  42. //设置数据返回作为变量储存,而不是直接输出 
  43. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
  44. //执行请求 
  45. $ret = curl_exec($ch); 
  46. //关闭连接 
  47. curl_close($ch); 
  48. //打印抓取内容 
  49. var_dump($ret); 

  这样我们就抓取到了需要登陆才能访问页面的内容, 注意上面的地址只是一个示例,需要换成你想要抓取页面的地址。

 平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。 大致思路:需要先请求提取 cookies 并保存,然后利用保存下来


关于PHP通过伪造和模拟客户端COOKIE登陆来采集抓取远程网址页面内容的方法的内容写到这里就结束啦,您可以收藏本页网址http://www.alixixi.com/biancheng/ a/2018091495710.shtml方便下次再访问哦。