교수명으로 강의 검색 기능, 과목명으로 강의 검색 기능을 추가하였다. 정확히는 교수명이 예를 들어 홍길동이라고 한다면 해당 강의 주소, 교수명, 과목명에서 홍길동이라는 문자열이 있다면 그 주소를 리턴 시켜주는 것이다. 과목명도 마찬가지로 디자인이라는 문자열이 있다면 그 주소를 리턴 시켜주는 것이다. 그리고 대략 1000개의 데이터를 돌릴 때 requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response')) 해당 오류가 발생하여서 예외처리를 해두었다. 해당 오류가 발생했을 때 header 관련 오류가 있어서 header 문제인지 알고 head..

beautifulsoup로는 사이트의 정보를 추출할 수 있지만 자바스크립트 같은 동적으로 생성된 정보들은 가져올 수 없다. 그래서 selenium을 이용해야 한다. 해당 스크래핑하려는 해당 과목 강의의 공지사항이나 자료실 같은 링크를 개발자 도구로 열어보면 아래와 같이 되어있다. 헬로우 일단 전체적인 코드가 beautifulsoup를 이용하기 위해 관련된 메서드를 이용해서 selenium + beautifulsoup 두 가지를 사용할 수 있도록 라이브러리를 import 하고 약간의 리팩토링을 했다... 리팩토링 후 본래 있던 코드들은 정상 작동하였고... 이제 문제점을 해결하려고 했다.. 전달해주는 값이 잘못되었는지... 이렇게 뜬다. 아무래도 수강 신청하지 않은 강의라서 그런 것 같은데... 이게 문제..