武器商人@Pythonのブログ

Pythonを好んで使っているプログラマです。Pythonこそが最強のプログラミング言語だと思っています。Pythonは使いやすいです。Pythonは書きやすいです。Pythonは読みやすいです。Pythonはパワフルです。Pythonは一貫性があります。Pythonが好きです。

Windows10/Anaconda環境でIDLEをクイックランチ

IDLEって? Windows10/Anacondaにしたけど??? IDLE.exeを発見!!! 無事IDLEをクイックランチに設置完了 明日からIDLEでPython遊んでやるぞ~ IDLEって? 僕は、昔からIDLEが好きなんです。 「IDLE=インタラクティブシェル」です。 Windowsの場合、イン…

LinuxMint18.2SonyaにAnacondaをインストールしてみた

以前WindowsにAnacondaを入れたときは、動きが残念な感じだったので、今度はLinuxMint18.2に入れてみました。 ダウンロードページから、パッケージをダウンロード。 https://www.anaconda.com/download/2.x系と3.x系とありますが、長い目で見たら3.x系のほう…

Windows10にAnaconda Python3xをインストールした。

oneshotlife-python.hatenablog.com過去エントリにて、ちょっとだけAnacondaについて書いたのでそちらも参照のこと。PCを新しくしたので、Pythonの環境構築をしていた。 やはり、これからの時代はAnacondaかな?と思う。IDEも含めて使用しそうなものがすべて…

PythonでYahoo!ファイナンスから株価を取得

本記事は移転しました。約3秒後にリダイレクトします。リダイレクトしない場合はここをクリックしてください。 2017/10/13 Pythonスクレイピング関連の書籍についてアップデート 2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引…

鬼のようにタイピングが速くなりたいなら速読式 タイピング練習 ソフト【脳速打ステージ】初級~上級編【頭脳王シリーズ】

ブラインドタッチ、最近はタッチタイピングと言うのかな?これが速くないとプログラミングの練習や実践に影響が出るので練習したほうがいいよ。速読式 タイピング練習 ソフト【脳速打ステージ】初級~上級編【頭脳王シリーズ】posted with カエレバ 日本能力…

UserAgentを上手いこと誤魔化すfake-useragent

スクレイピングをするときに必須というわけではないのだが、UAは設定した方がいい。サイトの運営者であれば、ボットからのアクセスと人間からのアクセスはすぐにわかる。なるべく人間に似せるように設定してあげるのがポイントだと思う。UAを設定すること自…

Pythonで食っている俺が語るPythonの魅力(1)生産性や速度

Pythonとの出会い Hello,World!までの道のり Python IDLEの魅力 Pythonの平易さ Pythonの入門書でお薦めは PythonでのWebScrapingには Pythonは遅いか? Pythonのパフォーマンスチューニングは PythonとC言語の融合 まとめ Pythonとの出会い Pythonとの出会…

PythonとrequestsとBeautifulSoupでAmazonの中古品情報一覧を取得

説明不足な部分があったらコメント下さい。返信及び記事修正します。 過去エントリ Amazon Product Advertising APIへの不満 WebScrapingの定石 APIで取得出来ない情報がある場合の定石 IDLEでガリガリ 対象URL 対象のデータを格納しているタグを見つける ID…

PythonでAmazonの本・Kindle本のカテゴリーを取得する

最近、バカの一つ覚えみたいにスクレイピングをやっております。。。 requestsとBeautifulSoupを使うだけでもいろいろ出来てしまう。 Amazonの本・Kindle本のカテゴリーを取得したい 対象ページ 分析の仕方 Google Chromeで上記の対象のページを開く 取得対…

WindowsでPythonを使ってWebScrapingやデータ解析をしたいならAnaconda/Miniconda一択

2018/12/08 新ブログでリライトしました。 buki.tech 追記:Anacondaは重過ぎるのでMinicondaを入れなおしました。 追記:Anacondaは重過ぎるのでMinicondaを入れなおしました。 Python2xかPython3xか 私の場合のPython2xとPython3xの使い分け Python2xとPyt…

Windows10でPythonとIDLEを使って開発する

IDLEについて IDLEの特徴 OSを選ばない インタラクティブシェル 専用のGUI シェルと連動したエディタ デバッカーも付いている 軽量で軽快 どうしてIDLE使っている人少ないんだろう。 IDLEについて IDELとはPythonに同梱している統合開発環境のこと。学習用ら…

Windows10でpipのバージョンアップ

pipを使っていると古いバージョンを使っているとのワーニングが出ていることに気付いた。 pip : You are using pip version 7.1.0, however version 9.0.0 is available. いちいち言われるのは面倒臭いからpipをバージョンアップしようと思った。pipのインス…

ImportError: No module named win32api

Scrapy shellを起動しようとしたら以下のエラーが出た。 ImportError: No module named win32api 試しに、win32apiをインストールしてみた。 PS>pip install win32api pip : You are using pip version 7.1.0, however version 9.0.0 is available. 発生場所…

IPythonの起動時にモジュールをインポート

過去エントリ IPythonのインストールについてはこちら Windows7にPython2.7,IPythonをインストール。Python2.7にはeasy_installもpipも同梱されているっぽいですね。#Python - 武器商人@Pythonのブログ プロファイルの作成についてはこちら IPython プロフ…

IPython プロファイルを作成/削除/変更

IPython プロファイルを作成

PythonとbottlenoseでAmazon Product Advertising APIを使う。

概要 bottlenoseについて インストール方法 ItemLookupで商品情報をxml形式で取得する サンプルコード 実行結果(item要素のみ抜粋) xmlをパースする サンプルコード 実行結果 最後に お薦め書籍 概要 Product Advertising APIについては、Product Advertisin…

Pythonでデザインパターンを勉強するならこのサイトを見るといいよ。

2018/01/08更新 Pythonのデザインパターンについて掲載された書籍がありますね。書籍名からだとだいぶわかりづらいですが。。。実践 Python 3作者: Mark Summerfield,斎藤康毅出版社/メーカー: オライリージャパン発売日: 2015/12/01メディア: 単行本(ソフ…

アルク英辞郎 on the Webのページをスクレイピングしてみた。

アルクのホームページ 英辞郎 on the Webについて サンプルコード 実行結果 感想 お薦め書籍 アルクのホームページ www.alc.co.jp はてぶが4000弱ってすごいですな。。。 英辞郎 on the Webについて googleの検索窓みたいに、検索窓から検索要求を出すと、検…

AmazonランキングのRSSをPythonで読み込んで出力

はじめに サンプルコード 実行結果 簡単ですね! こういうことに興味をお持ちならこちらの書籍もどうぞ はじめに 最近、クローリング/スクレイピング/スパイダリングにはまっています。Amazonのランキングを出力したいなと思いました。やり方はいろいろある…

Pythonで文字列が空文字(Null)かどうかを判定するシンタックス

Python3系に書き直しました。 以下のブログに引っ越しました。 buki.tech文字列か空かどうかを判定する機会は多いので備忘録として残す。 サンプルコード >>> str = "" >>> type(str) <type 'str'> >>> len(str) 0 >>> not str True >>> コメント lenでサイズを調べる。</type>…

Pythonで楽天ウェブサービスを使って書籍情報を取得する ~ リファクタリングしてみた

はじめに サンプルコード(リファクタリング前) リファクタリングポイント メソッド名 語順 単語の区切り パスカルケース/アッパーキャメルケース キャメルケース/ローワーキャメルケース スネークケース ライブラリ クエリの組立方 参考書籍 メイン処理の書…

Python文法:文字列

文字列の表記方法 ダブルクウォーテーション シングルクウォーテーション トリプルクウォーテーション Unicode文字列 エスケープシーケンス 例 文字列の演算 文字列の連結 文字列の繰り返し 文字列のレングスを取得 文字列の場合 Unicode文字列 参考書籍 文…

PythonでCGIプログラムを書いてローカルのサーバーもどきで動かしてみた。

CGI

もともとは、 Pythonのプログラムをサーバーで動かすなんて考えてなかったわけで、ローカルで使うスクリプトなんかをメインに書いてきた。Pythonのプログラムをサーバーで動かそうなんて考えたのは、アフィリエイトのプログラムをちゃちゃっと書いちゃって、…

requestsとBeautifulStoneSoupを使いはてなブログAtomPubを使ってブログ情報を取得する

はじめに サンプルコード 実行結果 必要モジュール requests bs4 モジュールのインポート url,userId,apiKeyの設定 GETメソッドでリソースを取得する rの値 r.contentの値 BeautifulStoneSoupでXMLをパース BeautifulStoneSoupのインスタンスを生成 prettify…

Amazletで生成されるHLTMLコードをBeautifulSoupを使って整形して表示する

Amazletを使うとアフィリエイトコードを生成するのが便利 Amazletのアフィリエイトコードを素のまま表示する AmazletのアフィリエイトコードをBeautifulSoupを使って整形 サンプルコード 実行結果 Amazletを使うとアフィリエイトコードを生成するのが便利 使…

Pythonで楽天ウェブサービスを使って書籍情報を取得する

サンプルコード ポイント jsonのデータをロードするのは意外と簡単! 実行結果 お勧め書籍 楽天ウェブサービスを使って情報を取得してみた。今回使ったのは、書籍の検索のapi。著者情報を渡して、その著者の書籍を取得するというもの。要求はhttpで投げて、…

Pythonでは変数にどんなに大きな整数を設定しても問題無い

変数の型とサイズについて 変数numに大きな値を設定する 変数numの値を出力 変数numの型名を出力 お薦め書籍 変数の型とサイズについて 特に、静的型付けを行う言語には多いが、変数に格納する値を意識しないと行けない言語もある。Pythonでは、言語側で勝手…

AmazonのサイトをWebスクレイピングしてランキングを取得

はじめに BeautifulSoupを使ってAmazonのサイトをウェブスクレイピング Amazonの書籍ランキングのURL サンプルコード 実行結果 ウェブスクレイピングはクソ面白いw はじめに AmazonのProduct Advertising APIではランキング情報を取得出来ないので、Amazon…

ウェブサイトのtitleタグを正規表現を使い取得する

私の以下3サイトのtitleタグを取得するスクリプトを書きました。 或阿呆のブログ 武器商人@Pythonのブログ http://oneshotlife-excel-vba.hateblo.jp/やりかたはいろいろあるんですが、今回は、正規表現で、titleタグをマッチさせるやり方で取得しました。…

Pythonで正規表現を扱う

はじめに Pythonでの正規表現の使い方を簡単に説明します。 reモジュールをインポートします パターン文字列を定義します マッチさせます マッチさせた文字列を表示します はじめに スクリプト言語で文字列を操作するにあたって、正規表現は避けて通れないと…