helper.scraping module

スクレイピングユーティリティ

• サイトURLと、selectorsを指定して、スクレイピングする

課題

• docstringを整える

class helper.scraping.Scraping(value_object=None, selectors=None)

ベースクラス: object

スクレイピングのユーティリティ

clip_copy()

クローリング結果をクリップボードにコピーする :return: bool 成功/失敗=True/False

create_save_text()

保存用文字列の作成 :return: str 保存用文字列の作成

get_value_object()

値オブジェクトを取得する

load_pickle(load_path)

pickleファイルを読み込み、デシリアライズする :param load_path: str ロードするpickleファイルのパス :return: bool 成功/失敗=True/False

load_text(load_path)

独自フォーマットなファイルからデータを読み込む :param load_path: str ロードする独自フォーマットなファイルのパス :return: bool 成功/失敗=True/False

save_pickle(save_path)

シリアライズしてpickleファイルに保存する :param save_path: str セーブするpickleファイルのパス :return: bool 成功/失敗=True/False

save_text(save_path)

データをファイルに、以下の独自フォーマットで保存する

• サイトURL

• セレクタ

パラメータ:

save_path -- str セーブする独自フォーマットなファイルのパス

戻り値:

bool 成功/失敗=True/False

scraping_chrome_driver()

TODO: ChromeDriverから、dictでスクレイピング結果を受け取りたい :return:

value_object: ScrapingValue = None

class helper.scraping.ScrapingValue(site_url, selectors)

ベースクラス: object

値オブジェクト

selectors: dict = None

site_url: str = None