⚙️ 自動化・効率化CC / Codex 両対応難易度: 中級

Scrapling公式 scrapling-official

Webスクレイピングを安心・簡単に

出典リポの★

78,435

最終更新

28日前

作者

D4Vinci

これは何？

ScraplingはWebスクレイピングを簡単にするPythonフレームワークです。Cloudflareなどのボット対策を自動で回避し、複雑なコードを書かずにウェブサイトからデータを収集できます。初心者にも優しく、少ないコードで本格的なスクレイピングが実現できます。

これでできること

ブログやニュースサイトから記事を自動で収集する
ECサイトの商品情報を一括取得する
動的コンテンツを含む現代的なWebアプリからデータを抽出する
ボット対策のあるサイトでも安全にスクレイピングできる
大規模なクローリングを簡単に実装できる

こんな時に便利

競合サイトの価格情報を収集したい時

研究用に大量のWebデータが必要な時

自社サイトのコンテンツをバックアップしたい時

ボット対策で通常の方法では取得できないデータがある時

使い方

Python仮想環境を作り、Scraplingをインストールするだけで準備完了です。コマンドラインから簡単に使えるほか、Pythonコードとしても利用できます。get/fetch/stealthy-fetchの3段階のコマンドがあり、サイトの難易度に合わせて選択できます。

使用例（こう頼んでみよう）

scrapling extract get "https://blog.example.com" article.mdscrapling extract fetch "https://example.com" --css-selector ".product-list" products.jsonscrapling extract stealthy-fetch "https://protected-site.com" --proxy "http://user:pass@host:port"

必要なもの

Python 3.10+

導入方法

いちばん簡単（AIに頼む）

次のスキルを入れて: https://github.com/D4Vinci/Scrapling/tree/main/agent-skill/Scrapling-Skill

手動で置く

Claude Code → ~/.claude/skills/scrapling-skill/

Codex → ~/.agents/skills/scrapling-skill/

使いこなしのコツ

簡単なサイトから始めて、徐々に複雑なサイトに挑戦しましょう
まずはgetコマンドで試し、うまくいかない場合にfetchやstealthy-fetchに移行するのがおすすめです
大量のデータを収集する場合は、適度な間隔を空けてサーバーに負荷をかけすぎないようにしましょう

GitHubで見る