アルク英辞郎 on the Webのページをスクレイピングしてみた。
アルクのホームページ
www.alc.co.jp
はてぶが4000弱ってすごいですな。。。
英辞郎 on the Webについて
googleの検索窓みたいに、検索窓から検索要求を出すと、検索語の意味が返却されるようです。検索結果は、辞書とは比較にならないほど用例が多いです。複数のページに渡ることも多いので、出来れば複合語で検索して、検索結果を絞ったほうがよいでしょう。
サンプルコード
import requests from bs4 import BeautifulSoup def get_examples(word): base_url = "http://eow.alc.co.jp/search" query = {} query["q"] = word query["ref"] = "sa" ret = requests.get(base_url,params=query) text = "" soup = BeautifulSoup(ret.content,"lxml") for l in soup.findAll("div",{"id":"resultsList"})[0]: try: text += l.text except: pass return text if __name__ == "__main__": ret = get_examples("Python") print ret
実行結果
python 【名】《動物》ニシキヘビ、錦蛇{にしきへび}、パイソン◆ニシキヘビ科(Pythonidae)のヘビの総称。アジア、アフリカ、オーストラリアに生息する大型のヘビで大きいものは6m以上になる。無毒で、獲物に巻き付いて窒息死させる。◆【語源】ギリシャ神話のピュトン(Python)から。〈俗〉ペニス【発音】páiθɑn、【@】パイソン、【変化】《複》pythons、【分節】py・thon Python 【名】《ギリシャ神話》ピュトン◆デリュゲ(Deluge)が残した泥から産まれたヘビ(龍)。アポロ(Apollo)がデルフィ(Delphi)で退治した。《ギリシャ神話》ピュトン、世界大蛇{せかい だいじゃ}◆世界を一匹の大蛇(ボア)と考えていた。《python》予言霊{よげん れい}《動物》ニシキヘビ属 Python molurus 《動物》インドニシキヘビ◆学名 Python molurus bivittatus 《動物》ビルマニシキヘビ◆学名 Python regius 《動物》ボールニシキヘビ◆学名 Python reticulatus 《動物》アミメニシキヘビ◆学名 Python sebae 《動物》アフリカニシキヘビ◆学名 ball python 《動物》ボールニシキヘビ Burmese python 《動物》ビルマニシキヘビ carpet python 《動物》カーペットニシキヘビ◆オーストラリアに生息【表現パターン】carpet snake [python] Monty Python モンティ・パイソン◆イギリスのコメディ・グループ。BBC放送で1969年から1974年にかけて放映されたお笑い番組「Monty Python's Flying Circus」を製作・自演。日本では1976年に東京12チャンネル(現テレビ東京)で「空飛ぶモンティ・パイソン」というタイトルで放映された。 Monty Python And Now For Something Completely Different 【映画】モンティ・パイソン・アンド・ナウ◆英1975《監督》イアン・マクノートン《出演》グレアム・チャップマン、ジョン・クリーズ、エリック・アイドル、テリー・ジョーンズ、テリー・ギリアム、マイケル・パリン reticulanus python 《動物》アミメニシキヘビ rock python ロックパイソン◆動物や鳥を食べる大ヘビ siphon the python 〈俗〉〔男性が〕小便[おしっこ]をする pythoness 【名】女性{じょせい}の神官{しんかん}、巫女{みこ}、女性{じょせい}の占い師、魔女{まじょ} pythonic 【形】ニシキヘビの(ような)神託{しんたく}の(ような) Pythonidae 【名】《動物》ニシキヘビ科 Monty Python's Life of Brian 【映画】モンティ・パイソン/ライフ・オブ・ブライアン◆英1979《監督》テリー・ジョーンズ《出演》グレアム・チャップマン、ジョン・クリーズ、テリー・ギリアム、エリック・アイドル、テリー・ジョーンズ、マイケル・パリン◆イエス・キリストの生涯をモンティ・パイソン風に料理したパロディ映画。製作総指揮にジョージ・ハリソンが参加している。 Monty Python's The Meaning of Life 【映画】モンティ・パイソン/人生狂騒曲◆英1983《監督》テリー・ジョーンズ《出演》グレアム・チャップマン、ジョン・クリーズ、テリー・ギリアム、エリック・アイドル、テリー・ジョーンズ、マイケル・パリン◆1984年のカンヌ映画祭で審査員特別賞を受賞した作品。なかでも、冒頭のテリー・ギリアムの短編映画「クリムゾン 老人は荒野を目指す」と、Every Sperm Is Sacredをフィーチャーしたミュージカル・シーンは大爆笑もの。
感想
タグ付けがぱっと見た感じ、構造化されていないのでスクレイピングがしずらかったです。。。
お薦め書籍
- 作者: Ryan Mitchell,嶋田健志,黒川利明
- 出版社/メーカー: オライリージャパン
- 発売日: 2016/03/18
- メディア: 大型本
- この商品を含むブログ (2件) を見る
実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック
- 作者: nezuq,東京スクラッパー(協力)
- 出版社/メーカー: マイナビ
- 発売日: 2015/08/28
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る