칭화대의 평가 기준

지난 9월말에 북경에서 칭화대 학과장을 ISO 회의에서 만났다. 같은 프로젝트 공동 책임자이기도 하다. 항상 총장님 숙제에 쫓기는 것은 우리와 같다. 서로 무엇인지는 가르쳐주지는 않는다. 점심을 먹다가 업적 평가기준과 활용에 대하여 의견을 나눌 기회가 있었다.
첫 째, 칭화대 전산학과는 journal, conference ranking을 만들고 있다. 이것을 프로젝트로 몇 명의 교수가 하고 있다. 12월에 완성될 예정이다. 기준으로는 두 가지를 둔다: quality, influence. 보통 quality만 생각하는데, influence가 필요하다. influence는 꼭 impact factor가 아니다. 꼭 impact 수치가 높더라도 과연 얼마나 소용되는 것일까를 생각하고자 한다.
- NUS ranking을 참조한다.
- MIT 전산학과 내부에서 만든 ranking을 쓰고 있다. 이것은 개인적으로 얻었다고 한다.
- Australia에서 만든 ranking은 믿을 수 없는 것이 있다.
- journal ranking은 SCI에서 나온 자료에 의존하고 있다.
둘째, 향후 이 평가 기준에 활용할 것은 다음을 학과장으로서 생각하고 있는 중이라고 한다.
- 교수 평가: 이 기준에 따라 평가할 것이다.
- 박사과정 졸업 기준: S-level ranking에 적어도 1편의 논문을 게재하는 것을 고려 중이다.
- 학생 배정: 이 평가기준에 따라 각 institute에 학생 T/O 상한선을 두고자 한다. 칭화대는 insitute 전체를 평가하여 상한선을 정하고, 또 교수 개인의 평가에 따라 학생 T/O상한선을 두고자 한다고 한다. 결국 학과 혹은 연구그룹인 institute 전체의 평가를 quality + influence의 합으로 한다는 것은 그것만으로 정당한 것 같다. 여기서 우리도 institute와 같은 몇 개의 연구 클러스터를 만들 필요가 있지 않을까 한다.
세째, Quality, Influence라는 척도에 대하여 예를 들어 논의하였다. 자연언어처리 분야의 예를 들어보고자 한다.
- IJCAI는 1급이라기 보다는 1.5급으로 평가한다.
- Coling은 quality는 2급으로 낮지만, influence는 크다. 많은 사람들이 reference로 한다.
- NA-ACL 은 1.5급 혹은 2급이다.
- 2010년에 Coling, IJCAI가 북경에서 열린다. -- 한국에서도 이런 노력을 적극적으로 하여야 하지 않나?
- ACL은 1급 (s급) 컨퍼런스이다.

네째, 박사학위 수여 조건
- journal/conference quality도 중요하지만 그 보다 system을 더 중시한다. 즉 contribution이 실제로 있는가? Demo를 박사학위 심사 때 매우 중요하게 본다.
- 교수 평가 때에도 이것을 중시하고 있다. 과연 쓸모있는 연구를 하였나? Paper for Paper, Paper for Problem .....