热评php抓取页面的几种体式格式
添加时间:2013-6-19 点击量:
我们在开辟收集法度时，往往须要抓取非本地文件，一般景象下都是哄骗php模仿浏览器的接见，经由过程http恳求接见url地址， 然后获得html源代码或者xml数据，获得数据我们不克不及直接输出，往往须要对内容进行提取，然后再进行格局化，以加倍友爱的体式格式浮现出来。
下面简单说一下php抓取页面的几种办法及道理:
一、 PHP抓取页面的首要办法：
1. file（）函数
2. file_get_contents（）函数
3. fopen（）->fread（）->fclose（）模式
4.curl体式格式
5. fsockopen（）函数 socket模式
6. 应用插件（如：http://sourceforge.net/projects/snoopy/）
二、PHP解析html或xml代码首要体式格式：
1. file（）函数
<？php
//定义url
￥url=http://t.qq.com;
//fiel函数读取内容数组
￥lines_array=file（￥url）;
//拆分数组为字符串
￥lines_string=implode（，￥lines_array）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
2. file_get_contents（）函数
应用file_get_contents和fopen必须空间开启allow_url_fopen。办法：编辑php.ini，设置
allow_url_fopen = On，allow_url_fopen封闭时fopen和file_get_contents都不克不及打开长途文件。
<？php
//定义url
￥url=http://t.qq.com;
//file_get_contents函数长途读取数据
￥lines_string=file_get_contents（￥url）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo htmlspecialchars（￥lines_string）;
3. fopen（）->fread（）->fclose（）模式
<？php
//定义url
￥url=http://t.qq.com;
//fopen以二进制体式格式打开
￥handle=fopen（￥url，rb）;
//变量初始化
￥lines_string=;
//轮回读取数据
do{
￥data=fread（￥handle，1024）;
if（strlen（￥data）==0） {
break;
}
￥lines_string.=￥data;
}while（true）;
//封闭fopen句柄，开释资料
fclose（￥handle）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
4. curl体式格式
应用curl必须空间开启curl。办法：windows下批改php.ini，将extension=php_curl.dll前面的分号去掉，并且需
要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下；Linux下要安装curl扩大。
<？php
// 创建一个新cURL资料
￥url=http://t.qq.com;
￥ch=curl_init（）;
￥timeout=5;
// 设置URL和响应的选项
curl_setopt（￥ch， CURLOPT_URL， ￥url）;
curl_setopt（￥ch， CURLOPT_RETURNTRANSFER， 1）;
curl_setopt（￥ch， CURLOPT_CONNECTTIMEOUT， ￥timeout）;
// 抓取URL
￥lines_string=curl_exec（￥ch）;
// 封闭cURL资料，并且开释体系资料
curl_close（￥ch）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
5. fsockopen（）函数 socket模式
socket模式可否正确履行，也跟办事器的设置有关系，具体可以经由过程phpinfo查看办事器开启了哪些通信和谈。
<？php
￥fp = fsockopen（t.qq.com， 80， ￥errno， ￥errstr， 30）;
if （!￥fp） {
echo ￥errstr （￥errno）<br />\n;
}
￥out = GET / HTTP/1.1\r\n;
￥out .= Host: t.qq.com\r\n;
￥out .= Connection: Close\r\n\r\n;
fwrite（￥fp， ￥out）;
while （!feof（￥fp）） {
echo fgets（￥fp， 128）;
}
fclose（￥fp）;
}
6. snoopy插件，新版本是Snoopy-1.2.4.zip Last Update: 2013-05-30，推荐大师应用
应用网上很是风行的snoopy来进行采集，这是一个很是强大的采集插件，并且它的应用很是便利，你也可以在里面设置agent来模仿浏览器信息。
<？php
//引入snoopy的类文件
require（Snoopy.class.php）;
//初始化snoopy类
￥snoopy = new Snoopy;
￥url = http://t.qq.com;
//开端采集内容
￥snoopy->fetch（￥url）;
//保存采集内容到￥lines_string
￥lines_string = ￥snoopy->results;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
申明：设置agent是在 Snoopy.class.php 文件的第45行，请在该文件中搜刮 “var ￥agent” （引号中的内容）。浏览器内容你可以应用PHP来获得，
应用 echo ￥_SERVER[HTTP_USER_AGENT]; 可以获得浏览器信息，将echo出来的内容复制到agent里面就可以了。
彼此相爱，却不要让爱成了束缚：不如让它成为涌动的大海，两岸乃是你们的灵魂。互斟满杯，却不要同饮一杯。相赠面包，却不要共食一个。一起歌舞欢喜，却依然各自独立，相互交心，却不是让对方收藏。因为唯有生命之手，方能收容你们的心。站在一起却不要过于靠近。—— 纪伯伦《先知》
我们在开辟收集法度时，往往须要抓取非本地文件，一般景象下都是哄骗php模仿浏览器的接见，经由过程http恳求接见url地址， 然后获得html源代码或者xml数据，获得数据我们不克不及直接输出，往往须要对内容进行提取，然后再进行格局化，以加倍友爱的体式格式浮现出来。
下面简单说一下php抓取页面的几种办法及道理:
一、 PHP抓取页面的首要办法：
1. file（）函数
2. file_get_contents（）函数
3. fopen（）->fread（）->fclose（）模式
4.curl体式格式
5. fsockopen（）函数 socket模式
6. 应用插件（如：http://sourceforge.net/projects/snoopy/）
二、PHP解析html或xml代码首要体式格式：
1. file（）函数
<？php
//定义url
￥url=http://t.qq.com;
//fiel函数读取内容数组
￥lines_array=file（￥url）;
//拆分数组为字符串
￥lines_string=implode（，￥lines_array）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
2. file_get_contents（）函数
应用file_get_contents和fopen必须空间开启allow_url_fopen。办法：编辑php.ini，设置
allow_url_fopen = On，allow_url_fopen封闭时fopen和file_get_contents都不克不及打开长途文件。
<？php
//定义url
￥url=http://t.qq.com;
//file_get_contents函数长途读取数据
￥lines_string=file_get_contents（￥url）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo htmlspecialchars（￥lines_string）;
3. fopen（）->fread（）->fclose（）模式
<？php
//定义url
￥url=http://t.qq.com;
//fopen以二进制体式格式打开
￥handle=fopen（￥url，rb）;
//变量初始化
￥lines_string=;
//轮回读取数据
do{
￥data=fread（￥handle，1024）;
if（strlen（￥data）==0） {
break;
}
￥lines_string.=￥data;
}while（true）;
//封闭fopen句柄，开释资料
fclose（￥handle）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
4. curl体式格式
应用curl必须空间开启curl。办法：windows下批改php.ini，将extension=php_curl.dll前面的分号去掉，并且需
要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下；Linux下要安装curl扩大。
<？php
// 创建一个新cURL资料
￥url=http://t.qq.com;
￥ch=curl_init（）;
￥timeout=5;
// 设置URL和响应的选项
curl_setopt（￥ch， CURLOPT_URL， ￥url）;
curl_setopt（￥ch， CURLOPT_RETURNTRANSFER， 1）;
curl_setopt（￥ch， CURLOPT_CONNECTTIMEOUT， ￥timeout）;
// 抓取URL
￥lines_string=curl_exec（￥ch）;
// 封闭cURL资料，并且开释体系资料
curl_close（￥ch）;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
5. fsockopen（）函数 socket模式
socket模式可否正确履行，也跟办事器的设置有关系，具体可以经由过程phpinfo查看办事器开启了哪些通信和谈。
<？php
￥fp = fsockopen（t.qq.com， 80， ￥errno， ￥errstr， 30）;
if （!￥fp） {
echo ￥errstr （￥errno）<br />\n;
}
￥out = GET / HTTP/1.1\r\n;
￥out .= Host: t.qq.com\r\n;
￥out .= Connection: Close\r\n\r\n;
fwrite（￥fp， ￥out）;
while （!feof（￥fp）） {
echo fgets（￥fp， 128）;
}
fclose（￥fp）;
}
6. snoopy插件，新版本是Snoopy-1.2.4.zip Last Update: 2013-05-30，推荐大师应用
应用网上很是风行的snoopy来进行采集，这是一个很是强大的采集插件，并且它的应用很是便利，你也可以在里面设置agent来模仿浏览器信息。
<？php
//引入snoopy的类文件
require（Snoopy.class.php）;
//初始化snoopy类
￥snoopy = new Snoopy;
￥url = http://t.qq.com;
//开端采集内容
￥snoopy->fetch（￥url）;
//保存采集内容到￥lines_string
￥lines_string = ￥snoopy->results;
//输出内容，嘿嘿，大师也可以保存在本身的办事器上
echo ￥lines_string;
申明：设置agent是在 Snoopy.class.php 文件的第45行，请在该文件中搜刮 “var ￥agent” （引号中的内容）。浏览器内容你可以应用PHP来获得，
应用 echo ￥_SERVER[HTTP_USER_AGENT]; 可以获得浏览器信息，将echo出来的内容复制到agent里面就可以了。
彼此相爱，却不要让爱成了束缚：不如让它成为涌动的大海，两岸乃是你们的灵魂。互斟满杯，却不要同饮一杯。相赠面包，却不要共食一个。一起歌舞欢喜，却依然各自独立，相互交心，却不是让对方收藏。因为唯有生命之手，方能收容你们的心。站在一起却不要过于靠近。—— 纪伯伦《先知》
