[univ-lect-scrapper] 진행상황(2)

교수명으로 강의 검색 기능, 과목명으로 강의 검색 기능을 추가하였다.

교수명으로 강의 검색, 과목명으로 강의 검색

정확히는 교수명이 예를 들어 홍길동이라고 한다면 

해당 강의 주소, 교수명, 과목명에서 홍길동이라는 문자열이 있다면 그 주소를 리턴 시켜주는 것이다.

교수님 성함은 개인정보이므로 처리

과목명도 마찬가지로 디자인이라는 문자열이 있다면 그 주소를 리턴 시켜주는 것이다.

디자인 이라는 과목에 대한 검색 결과... 대략 120개 정도가 떴다.

그리고 대략 1000개의 데이터를 돌릴 때 

requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response')) 

해당 오류가 발생하여서 예외처리를 해두었다. 

 

해당 오류가 발생했을 때 header 관련 오류가 있어서 header 문제인지 알고 header 관련 문서를 많이 찾아보고 코드를 여러 번 고쳐봤음에도 불구하고 증상이 같아서 혹시? exception 처리를 해서 지금은 문제없이 데이터들을 잘 불러온다.

 

현재 데이터들을 저장할 때 list로 저장하고 있는데 가상 db처럼 쓰고 있다.

진짜 db는 아니지만 그 역할을 하는 list... 

 

공부용으로 가벼운 sqlite3를 붙여서 사용해보는 것도 좋긴 할 것 같은데 생각해봐야 할 것 같다.

 

전에 전공 수업 Maria db랑 동아리 프로젝트 mysql db랑 충돌 나서 하나의 db를 날려야 될 상황에 빠져서 

동아리 프로젝트의 db를 날렸다... (그 때 정말 흐윽... 4시간 동안 다시 작업...)

 

만든 기능이 잘 동작하고... 오류를 해결했을 때의 그 짜릿함 때문에 재밌는 것 같다.

 

다음에는 flask를 사용하여 웹에서도 동작하도록 할 예정이다.

기본적인 html.. 사용가능하다면 css를 입혀서 이쁘게 꾸며볼까도 한다.

 

.

.

.

 

.gitignore 파일 자꾸 적용이 안된다.. 내가 사용을 못하는 건지...  에혀...