如何解析HTML/XML并从中提取信息？
当前回答
不使用正则表达式解析HTML有几个原因。但是，如果您完全控制将生成什么HTML，那么可以使用简单的正则表达式。
上面是一个通过正则表达式解析HTML的函数。请注意，此函数非常敏感，要求HTML遵守某些规则，但它在许多场景中都非常有效。如果您想要一个简单的解析器，并且不想安装库，请尝试一下：
function array_combine_($keys, $values) {
$result = array();
foreach ($keys as $i => $k) {
$result[$k][] = $values[$i];
}
array_walk($result, create_function('&$v', '$v = (count($v) == 1)? array_pop($v): $v;'));
return $result;
}
function extract_data($str) {
return (is_array($str))
? array_map('extract_data', $str)
: ((!preg_match_all('#<([A-Za-z0-9_]*)[^>]*>(.*?)</\1>#s', $str, $matches))
? $str
: array_map(('extract_data'), array_combine_($matches[1], $matches[2])));
}
print_r(extract_data(file_get_contents("http://www.google.com/")));
其他回答
处理HTML/XML DOM的方法有很多，其中大多数已经提到。因此，我不会亲自列出这些。
我只想补充一点，我个人更喜欢使用DOM扩展，以及为什么：
iit充分利用了底层C代码的性能优势它是OO PHP（并允许我对其进行子类化）它的级别相当低（这允许我将其用作更高级行为的非臃肿基础）它提供对DOM的每个部分的访问（不像SimpleXml，它忽略了一些鲜为人知的XML特性）它具有用于DOM爬行的语法，与原生Javascript中使用的语法类似。
虽然我怀念为DOMDocument使用CSS选择器的能力，但有一种非常简单和方便的方法可以添加此功能：将DOMDocument子类化，并将类似于querySelectorAll和querySelector的JS方法添加到子类中。
为了解析选择器，我建议使用Symfony框架中的非常简约的CsSelector组件。该组件只是将CSS选择器转换为XPath选择器，然后可以将其输入到DOMX路径中以检索相应的Nodelist。
然后，您可以使用这个（仍然是非常低级的）子类作为更高级类的基础，例如解析非常特定的XML类型或添加更多类似jQuery的行为。
下面的代码直接来自我的DOM查询库，并使用了我描述的技术。
对于HTML分析：
namespace PowerTools;
use \Symfony\Component\CssSelector\CssSelector as CssSelector;
class DOM_Document extends \DOMDocument {
public function __construct($data = false, $doctype = 'html', $encoding = 'UTF-8', $version = '1.0') {
parent::__construct($version, $encoding);
if ($doctype && $doctype === 'html') {
@$this->loadHTML($data);
} else {
@$this->loadXML($data);
}
}
public function querySelectorAll($selector, $contextnode = null) {
if (isset($this->doctype->name) && $this->doctype->name == 'html') {
CssSelector::enableHtmlExtension();
} else {
CssSelector::disableHtmlExtension();
}
$xpath = new \DOMXpath($this);
return $xpath->query(CssSelector::toXPath($selector, 'descendant::'), $contextnode);
}
[...]
public function loadHTMLFile($filename, $options = 0) {
$this->loadHTML(file_get_contents($filename), $options);
}
public function loadHTML($source, $options = 0) {
if ($source && $source != '') {
$data = trim($source);
$html5 = new HTML5(array('targetDocument' => $this, 'disableHtmlNsInDom' => true));
$data_start = mb_substr($data, 0, 10);
if (strpos($data_start, '<!DOCTYPE ') === 0 || strpos($data_start, '<html>') === 0) {
$html5->loadHTML($data);
} else {
@$this->loadHTML('<!DOCTYPE html><html><head><meta charset="' . $encoding . '" /></head><body></body></html>');
$t = $html5->loadHTMLFragment($data);
$docbody = $this->getElementsByTagName('body')->item(0);
while ($t->hasChildNodes()) {
$docbody->appendChild($t->firstChild);
}
}
}
}
[...]
}
另请参见Symfony的创建者Fabien Potencier关于为Symfony创建CsSelector组件的决定以及如何使用它的CSS选择器解析XML文档。
我在这里没有提到的一种通用方法是通过Tidy运行HTML，它可以设置为输出保证有效的XHTML。然后可以在上面使用任何旧的XML库。
但对于您的具体问题，您应该看看这个项目：http://fivefilters.org/content-only/--这是Readability算法的一个修改版本，它旨在从页面中提取文本内容（而不是页眉和页脚）。
为什么不应该以及何时应该使用正则表达式？
首先，一个常见的误称：Regexp不用于“解析”HTML。然而，正则表达式可以“提取”数据。提取是它们的目的。与适当的SGML工具包或基线XML解析器相比，正则表达式HTML提取的主要缺点是它们的语法工作和不同的可靠性。
考虑制作一个稍微可靠的HTML提取正则表达式：
<a\s+class="?playbutton\d?[^>]+id="(\d+)".+? <a\s+class="[\w\s]*title
[\w\s]*"[^>]+href="(http://[^">]+)"[^>]*>([^<>]+)</a>.+?
比简单的phpQuery或QueryPath等效文件可读性差得多：
$div->find(".stationcool a")->attr("title");
然而，在某些特定的用例中，它们可以提供帮助。
许多DOM遍历前端不显示HTML注释<！--，然而，它们有时是用于提取的更有用的锚。特别是伪HTML变体＜$var＞或SGML残基很容易用正则表达式驯服。通常，正则表达式可以节省后期处理。然而，HTML实体通常需要手动管理。最后，对于提取<img src=urls等极其简单的任务，它们实际上是一个可能的工具。与SGML/XML解析器相比，速度优势主要用于这些非常基本的提取过程。
有时甚至建议使用正则表达式/<--内容-->（.+？）<--END-->/并使用更简单的HTML解析器前端处理其余部分。
注意：我实际上有一个应用程序，在那里我交替使用XML解析和正则表达式。就在上周，PyQuery解析中断，正则表达式仍然有效。是的，很奇怪，我自己也解释不了。但事情就是这样发生的。因此，请不要因为现实世界的考虑与正则表达式=邪恶模因不匹配就投票否决。但我们也不要对此投太多赞成票。这只是这个话题的一个旁注。
QueryPath很好，但要小心“跟踪状态”，因为如果你没有意识到它的含义，这可能意味着你浪费了大量调试时间，试图找出发生了什么以及代码为什么不工作。
这意味着对结果集的每一次调用都会修改对象中的结果集，这与jquery中的每个链接都是一个新的集一样是不可链接的，您有一个单独的集，它是查询的结果，而每个函数调用都会更改该单独的集。
为了获得类似jquery的行为，您需要在执行类似过滤器/修改的操作之前进行分支，这意味着它将更紧密地反映jquery中发生的情况。
$results = qp("div p");
$forename = $results->find("input[name='forename']");
$results现在包含输入的结果集[name='rename']而不是原始查询“div p”。这让我很困惑，我发现QueryPath跟踪过滤器和查找结果，以及修改结果并将其存储在对象中的所有内容。你需要这样做
$forename = $results->branch()->find("input[name='forname']")
那么$results将不会被修改，您可以一次又一次地重用结果集，也许有更多知识的人可以稍微澄清一下，但从我的发现来看，基本上是这样的。
注意，这个答案推荐了那些已经废弃了10多年的图书馆。
phpQuery和QueryPath在复制流畅的jQuery API方面非常相似。这也是为什么它们是在PHP中正确解析HTML的两种最简单的方法。
QueryPath示例
基本上，您首先从HTML字符串创建一个可查询的DOM树：
$qp = qp("<html><body><h1>title</h1>..."); // or give filename or URL
结果对象包含HTML文档的完整树表示。可以使用DOM方法遍历它。但常见的方法是使用jQuery中的CSS选择器：
$qp->find("div.classname")->children()->...;
foreach ($qp->find("p img") as $img) {
print qp($img)->attr("src");
}
大多数情况下，您希望为->find（）使用简单的#id和.class或DIV标记选择器。但您也可以使用XPath语句，这有时会更快。另外，典型的jQuery方法，如->children（）和->text（），特别是->attr（），简化了提取正确的HTML片段。（并且已经解码了它们的SGML实体。）
$qp->xpath("//div/p[1]"); // get first paragraph in a div
QueryPath还允许将新标记注入流（->追加），然后输出并美化更新的文档（->写入HTML）。它不仅可以解析格式错误的HTML，还可以解析各种XML方言（带有名称空间），甚至可以从HTML微格式（XFN、vCard）中提取数据。
$qp->find("a[target=_blank]")->toggleClass("usability-blunder");
.
phpQuery还是QueryPath？
一般来说，QueryPath更适合处理文档。而phpQuery还实现了一些伪AJAX方法（仅HTTP请求），以更接近于jQuery。据称，phpQuery通常比QueryPath更快（因为总体特性较少）。
有关差异的更多信息，请参阅tagbyte.org上的wayback机器上的比较
优势
简单可靠易于使用的替代方案->查找（“a img，a object，div a”）正确的数据取消捕获（与正则表达式grepping相比）
推荐文章
- 使伸缩项目正确浮动
- 形式内联内的形式水平在twitter bootstrap?
- 自定义元素在HTML5中有效吗?
- 如何触发自动填充在谷歌Chrome?
- 创建圈div比使用图像更容易的方法?
- 为什么Chrome浏览器不正确地确定页面是在不同的语言，并提供翻译?
- 原则-如何打印出真正的sql，而不仅仅是准备好的语句?
- 如何从关联PHP数组中获得第一项?
- PHP/MySQL插入一行然后获取id
- 我如何排序一个多维数组在PHP
- 如何在PHP中截断字符串最接近于一定数量的字符?
- PHP错误:“zip扩展名和unzip命令都没有，跳过。”
- Nginx提供下载。php文件，而不是执行它们
- 在网页上用鼠标模拟震颤(例如帕金森病)?
- Bootstrap抛出Uncaught错误:Bootstrap的JavaScript需要jQuery
