검색 엔진과 크롤러

인터넷상의 데이터를 수집

검색 엔진은 인터넷 사이트의 데이터를 수집해서 축적하고 있으며 이것을 검색할 수 있는 구조를 제공하고 있다. 
정기적으로 전 세계의 웹사이트를 순회하고 있으며 웹사이트의 링크를 거쳐 수집하는 것을 크롤링이라고 한다. 
그리고 그 툴을 크롤러라고 한다. 

*검색 결과의 순위 
검색한 키워드에 관련되는 페이지를 검색 결과의 상위에 표시하기 위해 
요소를 종합적으로 분석해서 정하는 작업을 스코어링이라고 한다 

*포털 사이트와의 차이
검색 기능뿐 아니라 뉴스와 메일, 옥션 등의 서비스를 포함해서 
이용자가 웹을 이용하는 입구 역할을 하는 사이트를 포털 사이트라고 한다. 

*서버 부하
크롤러는 웹 서버에 프로그램으로 엑세스해서 정보를 취득하기 때문에 
단시간에 연속해서 취득하면 서버에 큰부하를 가할 수 있다. 

 

-출처: IT용어도감,성안당