← 一覧へ
🛠 コードを作るCC / Codex 両対応難易度: 中級

Firecrawl ページスクレイピング firecrawl-build-scrape

お気に入りのページを一瞬でデータ化

出典リポの★
176,548
最終更新
28日前
作者
firecrawl

これは何?

Firecrawlの『/scrape』機能を使えば、指定したウェブページから必要な情報を簡単に抽出できます。ページの内容をマークダウンやHTMLなどの形式で取得し、アプリに組み込むことが可能です。既にURLが分かっている場合に、素早く効率的にページデータを取得したい時に便利です。

Firecrawl ページスクレイピングの紹介マンガ

これでできること

  • 指定したURLのページ内容をマークダウン形式で取得する
  • ページのHTMLやメタデータを抽出する
  • ページ内のリンクやスクリーンショットを取得する
  • 構造化されたページデータを生成する

こんな時に便利

企業サイトやドキュメントページからの情報収集
価格情報や変更履歴の抽出
ページごとの品質チェックや監視
既知のURLから知識を収集し、AIや検索エンジンに活用する

使い方

まずは取得したいページのURLを用意します。次に、Firecrawlの『/scrape』機能を呼び出し、必要なフォーマットを指定します。マークダウン形式がデフォルトですが、HTMLやメタデータなども選択可能です。

使用例(こう頼んでみよう)

『https://example.com』のページ内容をマークダウン形式で取得してください『https://docs.example.com』のHTMLとメタデータを抽出してください『https://pricing.example.com』から価格情報を構造化データとして取得してください

必要なもの

  • 特になし

導入方法

いちばん簡単(AIに頼む)
次のスキルを入れて: https://github.com/firecrawl/firecrawl/tree/main/skills/firecrawl-build-scrape
手動で置く
Claude Code → ~/.claude/skills/firecrawl-build-scrape/
Codex → ~/.agents/skills/firecrawl-build-scrape/

使いこなしのコツ

  • 記事のようなページでは『onlyMainContent』オプションを使うと、ナビゲーションなどのノイズを減らせます
  • ページの読み込みに時間がかかる場合は、レンダリングオプションを調整しましょう
  • 再利用されたキャッシュの内容を確認するには、『metadata.cacheState』と『metadata.cachedAt』をチェックします