WEBサイトの内容をスクレイピングするプログラムをチャットGPT先生に作ってもらおう！

今回はチャットGPT先生に、WEBサイトの内容をスクレイピングするプログラムを作ってもらいました。
ちなみにスクレイピングとは、WEBサイトのコンテンツの中から特定の情報だけを取集することです。
スクレイピングを禁止しているサイトもあるので、きちんとサイトの利用規約を確認しましょう。

ここからは、スクレイピングプログラムの作り方です。
まず「検証」を使って、WEBサイト（HTML）の構造をチャットGPT先生に伝えます。
PythonでWEBサイトから必要な情報を取得。
取得内容をExcelに貼り付けてもらいました。

しかし、これで完成ではありません。
time.sleep(1)で1作業ごとに1秒の待機時間を追加しました。
なぜ1秒のタイムラグを追加したのかというと、タイムラグなしだとサイバー攻撃と同じなので、WEBサイトの負荷になるからです。
そのためタイムラグを追加して、負荷を減らしました。

そしてタイムラグにより、作業に時間がかかるため、今どこを作業しているのかを逐一、コマンドプロントに表示するようにしました。
これでスクレイピングプログラムの完成です。
ありがとうございました。