○○に叱られる・・・スプレッドシート関数でWebデータ取得する際の注意
2019-03-25
NHKの人気番組
ではありませんが、スプレッドシート関数で大量にWebデータを取得しようとすると怒られることがあります。
今日は、スプレッドシート関数でWeb上のデータを取得する際の注意点・対応方法を紹介します。
大量のアクセスで怒られる
スプレッドシート関数でWeb上のデータを大量に取得しようとすると
・ツールを使ったアクセス
・サイトへの攻撃
と判定され、ブロックされる・もしくは手動での確認を求められるようになることがあります。
数年前にこんな事件がありました。
これまで紹介したプログラム不要でWeb上のデータを取得できるこれらの関数は、定期的に指定したサイトにアクセスしデータを取得しています。また、当該のシートを閉じていてもデータを確認しています。
Googleスプレッドシート:プログラム不要Webデータ取得関数
1. IMPORTXML関数:Webデータを取得
2. IMPORTHTML関数:Web上の表(テーブル)・リストを取得
3. IMPORTFEED関数:Web更新情報を取得
1. IMPORTXML関数:Webデータを取得
2. IMPORTHTML関数:Web上の表(テーブル)・リストを取得
3. IMPORTFEED関数:Web更新情報を取得
スプレッドシートからのWebアクセス回数を減らすためには?
同じサイト・ページから大量のデータ取得をしてるとロボットからのアクセスと判定される可能性があります。これを避けるためには次の2つの方法が考えられます。
(1)数式のコメントアウト
使用しない際には、「’(シングルクォーテーション)」を使って数式をコメントアウトすると計算が停止します。また、数式もそのままなので次回使用する際の再入力の手間が省けます。
(2)URLfetch関数の活用
Web上のデータを大量に取得する場合には、URLfetch関数を活用すると必要なタイミングで最小限のWebアクセスで効率的に必要なデータを取得することができます。
スプレッドシートからのWebアクセス回数を減らすためには?
今日は、スプレッドシート関数でWeb上のデータを取得する際の注意点・対応方法を紹介しました。スプレッドシートでWeb上のデータを取得する場合には、最小限のWebアクセスで効率的にデータを取得できる方法を検討していきましょう。