웹 크롤링 기초 강의ㅣ뉴스, 기차 예매, 여행 사이트 실습 [리뷰1]

https://mcode.co.kr/video/list2?viewMode=view&idx=92

메타코드M

 

초보자와 비전공자들도 쉽게 따라할 수 있도록 구성되어 있어 초보자들에게 적합합니다. 

 

강의 내용은 웹 크롤링의 다양한 활용 가능성, HTML 태그 분석, 파이썬 라이브러리를 활용한 웹 크롤러 제작 등을 다루고 있습니다. 이를 통해 실제 업무에서 웹 크롤링 기술을 활용할 수 있는 방법을 배울 수 있습니다. 

 

특히 이 강의는 단순한 이론 강의가 아닌 실습 중심으로 진행되어, 학습자들이 직접 코드를 작성하고 실행해볼 수 있습니다. 이를 통해 웹 크롤링 기술을 보다 깊이 있게 이해할 수 있습니다.

Request와 Response에 대한 기본 이해

웹 개발에서 Request와 Response는 클라이언트와 서버 간의 데이터 교환을 가능하게 하는 핵심 개념입니다. 클라이언트(예: 웹 브라우저)가 서버에 어떤 정보나 서비스를 요청(Request)하면, 서버는 그 요청에 대한 결과를 클라이언트에게 돌려주는(Response) 방식으로 통신합니다.

Request (요청)

• 정의: 클라이언트가 서버에게 어떤 작업을 수행해달라고 요청하는 메시지입니다.
• 특징:
  • 다양한 형태: JSON, XML 등 다양한 형태로 정보를 담아 서버에 전송할 수 있습니다. 
  • 메소드: GET, POST, HEAD 등 다양한 HTTP 메소드를 사용하여 서버에 요청할 수 있습니다.

Response (응답)

• 정의: 서버가 클라이언트의 요청에 대해 보내는 메시지입니다.
• 특징:
  • 정보 전달: 요청에 대한 결과물이나 필요한 데이터를 클라이언트에게 전달합니다. 2
  • 상태 코드: 응답 메시지에는 상태 코드(예: 200 OK, 404 Not Found)가 포함되어 요청의 성공 여부를 알려줍니다. 

 

코드에서 요청한 내용이 실제 웹사이트랑 일치하는지 확인하는 과정입니다. 

웹사이트에서 개발자 화면으로 넘어가서 확인할 수 있습니다. 

HTML(HyperText Markup Language)은 웹 페이지의 내용을 표시하기 위한 지배적인 마크업 언어입니다. 웹 페이지의 구조적 의미를 제공하며, 제목, 문단, 목록 등의 요소를 구성하고, 링크, 인용문 등을 통해 구조적 문서를 만드는 데 사용됩니다. 또한, 이미지와 객체를 삽입하고, 상호작용하는 폼을 만드는 데도 사용됩니다. HTML은 웹 페이지 내용 안에 꺾쇠 괄호로 둘러싸인 HTML 요소의 형태로 작성되며, 자바스크립트와 CSS와 같은 스크립트를 포함하여 웹 브라우저 및 기타 HTML 처리 장치의 동작과 외관에 영향을 줄 수 있습니다.

HTML의 기본 구조

• 요소(Element): HTML 문서를 구성하는 기본 단위로, 시작 태그와 종료 태그로 구성됩니다.
• 태그(Tag): 요소의 이름을 감싸고, <와 >로 둘러싸인 텍스트입니다. 예를 들어, <p>는 문단을 시작하는 태그입니다.
• 속성(Attribute): 요소에 추가 정보를 제공하는 이름-값 쌍입니다. 예를 들어, <img src="image.jpg">에서 src는 이미지의 위치를 지정하는 속성입니다.

HTML의 중요성

• 웹의 기초: 모든 웹 페이지는 HTML을 기반으로 구축되며, 웹의 기본적인 구조와 내용을 정의합니다.
• 웹 표준: 월드 와이드 웹 컨소시엄(W3C)은 웹에 대한 표준을 개발하고 촉진하며, HTML은 이러한 표준의 핵심 부분입니다.