クローリング

クローリングとは、ウェブ上の情報を自動的に収集するプロセスのことです。検索エンジンがウェブページをインデックスするために行われます。

crawling

Crawling is the process of automatically collecting information on the web. This is done for search engines to index web pages.