oneshotlife-pythonのブログ

Pythonを好んで使っているプログラマです。Pythonこそが最強のプログラミング言語だと思っています。Pythonは使いやすいです。Pythonは書きやすいです。Pythonは読みやすいです。Pythonはパワフルです。Pythonは一貫性があります。Pythonが好きです。

アルク英辞郎 on the Webのページをスクレイピングしてみた。 #Python #WebScraping

アルクのホームページ

www.alc.co.jp
はてぶが4000弱ってすごいですな。。。

英辞郎 on the Webについて

googleの検索窓みたいに、検索窓から検索要求を出すと、検索語の意味が返却されるようです。検索結果は、辞書とは比較にならないほど用例が多いです。複数のページに渡ることも多いので、出来れば複合語で検索して、検索結果を絞ったほうがよいでしょう。

サンプルコード

import requests
from bs4 import BeautifulSoup

def get_examples(word):
    base_url = "http://eow.alc.co.jp/search"
    query = {}
    query["q"] = word
    query["ref"] = "sa"
    ret = requests.get(base_url,params=query)
    text = ""
    soup = BeautifulSoup(ret.content,"lxml")
    for l in soup.findAll("div",{"id":"resultsList"})[0]:
        try:
            text += l.text
        except:
            pass
    return text

if __name__ == "__main__":
    ret = get_examples("Python")
    print ret

実行結果

python
【名】《動物》ニシキヘビ、錦蛇{にしきへび}、パイソン◆ニシキヘビ科(Pythonidae)のヘビの総称。アジア、アフリカ、オーストラリアに生息する大型のヘビで大きいものは6m以上になる。無毒で、獲物に巻き付いて窒息死させる。◆【語源】ギリシャ神話のピュトン(Python)から。〈俗〉ペニス【発音】páiθɑn、【@】パイソン、【変化】《複》pythons、【分節】py・thon



Python
【名】《ギリシャ神話》ピュトン◆デリュゲ(Deluge)が残した泥から産まれたヘビ(龍)。アポロ(Apollo)がデルフィ(Delphi)で退治した。《ギリシャ神話》ピュトン、世界大蛇{せかい だいじゃ}◆世界を一匹の大蛇(ボア)と考えていた。《python》予言霊{よげん れい}《動物》ニシキヘビ属



Python molurus
《動物》インドニシキヘビ◆学名



Python molurus bivittatus
《動物》ビルマニシキヘビ◆学名



Python regius
《動物》ボールニシキヘビ◆学名



Python reticulatus
《動物》アミメニシキヘビ◆学名



Python sebae
《動物》アフリカニシキヘビ◆学名



ball python
《動物》ボールニシキヘビ



Burmese python
《動物》ビルマニシキヘビ



carpet python
《動物》カーペットニシキヘビ◆オーストラリアに生息【表現パターン】carpet snake [python]



Monty Python
モンティ・パイソン◆イギリスのコメディ・グループ。BBC放送で1969年から1974年にかけて放映されたお笑い番組「Monty Python's Flying Circus」を製作・自演。日本では1976年に東京12チャンネル(現テレビ東京)で「空飛ぶモンティ・パイソン」というタイトルで放映された。



Monty Python And Now For Something Completely Different
【映画】モンティ・パイソン・アンド・ナウ◆英1975《監督》イアン・マクノートン《出演》グレアム・チャップマン、ジョン・クリーズ、エリック・アイドル、テリー・ジョーンズ、テリー・ギリアム、マイケル・パリン



reticulanus python
《動物》アミメニシキヘビ



rock python
ロックパイソン◆動物や鳥を食べる大ヘビ



siphon the python
〈俗〉〔男性が〕小便[おしっこ]をする



pythoness
【名】女性{じょせい}の神官{しんかん}、巫女{みこ}、女性{じょせい}の占い師、魔女{まじょ}



pythonic
【形】ニシキヘビの(ような)神託{しんたく}の(ような)



Pythonidae
【名】《動物》ニシキヘビ科



Monty Python's Life of Brian
【映画】モンティ・パイソン/ライフ・オブ・ブライアン◆英1979《監督》テリー・ジョーンズ《出演》グレアム・チャップマン、ジョン・クリーズ、テリー・ギリアム、エリック・アイドル、テリー・ジョーンズ、マイケル・パリン◆イエス・キリストの生涯をモンティ・パイソン風に料理したパロディ映画。製作総指揮にジョージ・ハリソンが参加している。



Monty Python's The Meaning of Life
【映画】モンティ・パイソン/人生狂騒曲◆英1983《監督》テリー・ジョーンズ《出演》グレアム・チャップマン、ジョン・クリーズ、テリー・ギリアム、エリック・アイドル、テリー・ジョーンズ、マイケル・パリン◆1984年のカンヌ映画祭で審査員特別賞を受賞した作品。なかでも、冒頭のテリー・ギリアムの短編映画「クリムゾン 老人は荒野を目指す」と、Every Sperm Is Sacredをフィーチャーしたミュージカル・シーンは大爆笑もの。

感想

タグ付けがぱっと見た感じ、構造化されていないのでスクレイピングがしずらかったです。。。

お薦め書籍

PythonによるWebスクレイピング

PythonによるWebスクレイピング

実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック

実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック