百度知道的php爬虫

作者佚名技术来源 NET编程浏览发布时间 2012-05-23

; if ( $start > 0 )
 {
 $start = $this->GetStart( $start ) ;
 $end = strpos( $this->content , '</pre>' , $start ) ;
 $this->CurPosition = $end ;
 return substr( $this->content , $start , $end-$start ) ;
 }
 return NULL ;
}
function GetAnswer()
{
 $start = strpos( $this->content , 'class="reply-text mb10"' , $this->CurPosition ) ;
 if ( $start > 0 )
 {
 $start = $this->GetStart( $start ) ;
 $end = strpos( $this->content , '</pre>' , $start ) ;
 $this->CurPosition = $end ;
 return substr( $this->content , $start , $end-$start ) ;
 }
 return NULL ;
}
}
ini_set('max_execution_time', '0');
$TestSpider = new spider() ;
$Startqid = 1000001 ;
$sndqid = 1000051 ;
$standurl = 'http://zhidao.baidu.com/question/' ;
$html = '.html' ;
$url ;
$NoUse = 0 ;
function microtime_float()
{
 list($usec, $sec) = explode(" ", microtime());
 return ((float)$usec + (float)$sec);
}
$time_start = microtime_float();
$answer ;
for ($i = $Startqid ; $i < $sndqid ; $i++ )
{
$url = $standurl.$i.$html ;
if ( $TestSpider->GetContent ( $url ) )
{
 echo ' 正在爬取编号为'.$i.'的网页 ' ;
 $TestSpider->GetTitle() ; //得到网页标题,不用显示了
 echo '问题：<a target="_blank" href="'.$url.'"> '.$TestSpider->GetQTitle().'</a> ' ; //得到问题题目
 echo '问题具体内容：'.$TestSpider->GetQContent().' ' ; //得到问题内容，有可能不存在
 echo '问题补充说明：'.$TestSpider->GetQsuply().' ' ; //问题补充说明，有可能不存在
 while ( ($answer = $TestSpider->GetAnswer()) != NULL )
 {
 echo '问题答案：'.$answer.' ' ; //得到答案。有可能没有答案！
 }
 ob_flush() ;
 flush() ;
}
else
{
 echo '错误了<a target="_blank" href="'.$url.'" style= "color:#ff0000">'.$url.'</a>' ;
 $NoUse++ ;
}
}
$time_end = microtime_float();
$time = $time_end - $time_start;
$i = $i-$Startqid ;
echo '爬取'.$i.'个

凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务，公司网站：http://www.lingzhong.cn 为了给广大客户了解更多的技术信息，本技术文章收集来源于网络,凌众科技尊重文章作者的版权，如果有涉及你的版权有必要删除你的文章，请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息，谢谢!

分享到：更多

你可能对下面的文章感兴趣

上一篇: php多层数组和对象的转换下一篇: PHP中文件包含语句的区别

关于百度知道的php爬虫的所有评论

随机推荐