[univ-lect-scrapper] 학교 강의 스크래핑 프로젝트

부족한게 많으니 피드백이나 조언 감사히 받겠습니다!

 

GitHub - A-WOS/univ-lect-scrapper

계획

학교 강의 사이트를 스크랩하여 강의를 들을 수 있도록 하는 것. 

계획한 이유

코로나 비대면으로 인하여 대학교의 수업이 전면 온라인으로 바뀌었다.

대면일 때에는 듣고 싶은 강의가 있다면 도강이 가능했었는데 현재는 수강 신청한 과목만 해당 과목의 강의 사이트에서 강의를 들을 수 있다. 그래서 나는 학교 강의 사이트를 스크랩하기로 하였다. 

계획 기능

교수님의 이름으로 검색하면 강의 사이트 주소가 출력

듣고 싶은 강좌명이 "소프트"로 시작하게 된다면 해당 문자열 들어가있는 과목명 검색해서 출력

 

terminal 환경이 아닌 웹에서 작동시킬 수 있도록 구현

(자세한 건 github repository plan.md에서 확인가능)

현재 기능

스크랩한 강의 사이트를 리스트로 뽑아 csv파일로 저장.

해당 url로 접속하면 강의 시청 가능

상세 내용

로그인을 해야만 강의리스트를 뽑아 올 수 있어서 로그인 값에 학생 타입, 학생의 id, 학생의 pw를 넣어줘서 로그인을 시킨 후에 특정 강의 주소의 강의id 값을 찾아서 특정 부분을 반복문에 넣어 강의를 검색

여담

API가 없어 직접 html태그나 javaScript를 뜯어봐야 된다. 

스크래핑된 강의 사이트를 들어가면 강의나 줌주소는 접속이 되나... 부수적인 것들(공지사항, 문의, 자료실)은 404 오류가 뜨게 되는데 이거를 셀레니움이면 해결할 수 있을 것 같아 공부중... javascript, html을 안 배웠다 보니... 눈 빠지겠다...

학교 사이트를 개발자 도구로 열어서 코드란 코드는 다 찾아봤다.. 찾아보면 뭐하나 볼줄을 모르는데 ㅋㅋㅋ

이번 학기에 수강신청할때 javaScript 과목을 신청해서 듣고는 있는데 내가 원하는 부분을 배울지 안 배울지는 모르겠다...