Wikipedie - dolování dat

Wikipedia je bezpochyby velká studnice informací. Téměř všechny vědomosti které můžete chtít. Které zrovna potřebujete jsou tam. Je to největší projekt spolupráce lidí, lidí jako já nebo vy. Wikipedia je asi nejlépe popsatelná jako "informace pro lidi, od lidí". V tomto tutoriálu vám ukážu, jak si snadno vytvoříte malý sběrač, napsaný v PHP, abyste mohli získat informace z jakéhokoli článku z Wikipedie.


Nemusíme používat žádný HTML parser, protože informace které chceme získat jsou snadno dostupné z Wikipedia API - (rozhraní pro programování aplikací) jde o způsob jak stáhnout požadovaná data přímo z wikipedie, aniž bychom museli složitě stahovat webové stránky článků a extrahovat z nich požadovaná data. Wikipedie nám poskytuje snadnější řešení.

Nyní se podívejte na následující kód.

<?php
$json = file_get_contents("http://cs.wikipedia.org/w/api.php?format=json&action=query&titles=Main%20Page&prop=revisions&rvprop=content");
$wiki = json_decode($json, true);
?>

Stáhli jsem informace které jsou publikované na hlavní stránce Wikipedie ve formátu JSON a proto bylo nutné je převést do formátu který lze použít snáze - funkce json_decode vrací pole. Nyní můžeme přistupovat k datům velice snadno pomocí $wiki['název_klíče']. Snadné, že?

Podíváme se dál, chceme-li vědět co je napsané v článku o Praze, opět využijeme API Wikipedie, abychom dostali požadovaná data. Podrobně si vysvětlíme co která část znamená.

<?php
$json = file_get_contents("http://cs.wikipedia.org/w/api.php?format=json&action=parse&page=Praha");
$wiki = json_decode($json, true);
?>

Opět je získání informací otázka jen dvou řádků PHP kódu. Pomocí funkce file_get_contents, která přečte vše z adresy http://cs.wikipedia.org/w/api.php?format=json&action=parse&page=Praha a vrátí je jako text, načteme data a uložíme je do proměnné $json. Data dekódujeme funkcí json_decode a tím získáme pole s daty.

Nyní tedy k jednotlivým částem adresy wikipedia API, která nám dodává data.

http://cs.wikipedia.org/w/api.php?

Tato část říká odkud se budou data stahovat. CS - česká wikipedie, pokud budeme chtít anglickou, použijeme EN.

format=json&action=parse&page=Praha

Formát dat ve kterém dostaneme odpověď. Wikipedie momentálně nabízí více možností než json - php, xml, yaml, ale je výhodnější využívat JSON, protože podpora ostatních formátů se bude rušit. Pak bychom museli aplikaci přepisovat.

Akce kterou má API provést - parse. Vybrali jsem PARSE, protože chceme jednoduše získat data. Poslední část je page=Praha, tedy název stránky ze které chceme informace.

Wikipedia API je mocný nástroj díky kterému je snadno dostupné obrovské množství informací. Není účel tohoto článku popsat všechny funkce, které nabízí, nastínili jsem si pouze jak toto API využívat. Veškeré informace nabízí přímo stránka http://en.wikipedia.org/w/api.php kde najdete vše potřebné.