본문 바로가기

키워드크롤링

 (1)
[GPT/크롤링] 주요 포털 사이트에서 크롤링이 필요한 정보를, GPT에게 시켜서 자동화하기 크롤링의 올바른 사용 의도 및 정의포털 사이트나 온라인 페이지에서 방문하도록 설정된 URL을 기본으로 HTTP 요청을 보내고, 해당 웹페이지의 HTML 콘텐츠를 받아오는 행위. 이때 받은 HTML 콘텐츠에서 필요한 데이터를 '파싱(Parsing)' 하여 추출한다. 크롤링을 반복 시행할 주소를 다양하게 설정하거나, 크롤링 데이터를 지정할 단어를 저장하는 등 구체적인 의도가 지정되어야 한다.  *크롤링은 다른 기업이나 개인에게 귀속된 데이터를, 악용할 목적으로 사용되어서는 안 된다.**오픈된 데이터를 불법적인 방식이 아닌 형태로 수집하고 취합할 때 올바른 용도로 사용할 수 있다. 그럼에도 불구하고, 요즘 시대에는 크롤링이 모든 데이터 취합의 시작일지도 모른다. 누구나 인공지능을 사용할 수 있는 시대지만, 반..

티스토리툴바