가짜 학회와 약탈적 저널 배경엔 정부의 '정량적 평가'

정부의 정량적 평가제도 도입과 '가짜학회'의 성행

한국에서 국가연구개발사업에 대한 평가제도가 처음 도입된 시기는 1999년도이다.
정부 R&D예산이 증가함에 따라 한정된 자원 하에서 선택과 집중이라는 문제가 대두되었고, 이에 대한 해결책으로 ”과학기술 혁신을 위한 특별법” 제4조 제2항에 의거하여 1999년도에 국가연구개발사업에 대한 평가 제도를 처음으로 도입하게됐다. 

이후 몇번의 개정과 보완을 거치면서 2005년 정부 R&D 성과평가제도의 체계화를 목표로 성과평가법이 제정되었으며 그 이후 연구사업의 평가를 위한 계량적 기준으로 논문(특히 임팩트팩터)과 특허수 같은 지표들이 연구성과 평가의 중요한 요소로 도입되었다. 특히 2010년부터는 사업 단위 평가에서 벗어나 연구자 단위 평가도 강조하면서 이러한 지표들이 더욱 강조되기 시작하였다.

이명박 정부때에는 성과평가의 주체가 R&D예산을 총괄하는 기획재정부로 바뀌고 평가위원회도 폐지된 적이 있었다. 사실상 비전문가들인 공무원들이 서면 평가하기 용이한 계량적 지표인 논문피인용수나 특허수 등이 중요한 가치로 떠오를 수 밖에 없었다. 

학계가 논문실적 부풀리기에 나서게 된 것은 일정 부분 정부 책임이 있다. 정부가 정량적 지표를 강조하다보니 실적을 채우기 위해 무자격 학회에까지 참석하는 사태가 벌어졌다. 2018년 뉴스타파는 상위권 대학소속 연구자들의 가짜학회 참석이 만연하고 있음을 밝혔다. 과학기술정보통신부는 실태조사 이후 가짜학회에 참석한 연구자들에게 무더기 징계를 내린 바 있다. 아래 표를 보면 가짜학회로 알려진 와셋과 오믹스에 참가한 대학 상위권에는 서울대, 연세대 등 소위 명문대학이 올라 있다. 

아래 표는 필자가 데이터 스크래핑으로 확인한 약탈적 저널들의 주요 본거지인 힌다위 출판사 오픈 액세스 저널 출판 논문수 및 대학 순위, 국내 연구자 이용 현황(2019년 1월 10일 기준)이다. 

1년에 SCI급 논문 3편을 내라는 학교의 요구사항은 쉽지 않은 조건이다. 편법을 동원할 수밖에 없다. 한편은 제대로 쓰고 나머지 두편은 SCI급 오픈 액세스 저널에 돈을 내고 등재하는 것이 관행이다. 질보다는 양을 기준으로 연구실적을 평가하는 이상 국내 학계와 연구자들의 연구윤리를 벗어난 암묵적인 관행들을 막기는 쉽지 않아 보인다. 이는 결국 국가 R&D 예산 지원의 효율적 집행을 어렵게 하며 기초과학분야나 순수과학처럼 연구실적이 나오기까지 상당한 시간이 필요한 연구자들에게 지원이 제대로 안가는 상황을 피할 수가 없다. 

임팩트 팩터의 문제점 인식과 '도라선언'

클래리베이트 애널리틱스(Clarivate Analytics)의 임팩트 팩터(IFㆍImpact Factor)는 사실 그 간편성 때문에 저널의 품질 평가에 더해 해당 저널에 출간된 논문의 질과 해당 연구자의 성과 및 연구자의 자질을 평가하는 기준으로 과도하게 적용되고 있다. 하지만 다양한 연구논문에서 IF의 오남용에 대한 위험성과 한계들을 강조하고 있다.

이런 문제들 때문에 개인, 연구자, 학계 그리고 기관들의 IF 오남용을 막기위하여 2012년 12월 16일 155명의 과학자와 78개의 과학관련 단체들이 ʻ미국 세포 생물학회 (American Society for Cell Biology)ʼ의 연례회의에서 IF와 특정 과학자의 공헌과의 상관관계를 보여주는 관행을 중단할 것을 촉구하는 공동 선언인 도라선언문(The San Francisco Declaration on Research Assessment, DORA)을 채택하였다.(Cagan, 2013:869-870) 

다음은 201년 12월 16일 채택된 DORA 선언의 주요 내용이다.

이후 영국 도서관(2017년), 스프링어 네이처(2018년) 등 각 기관 및 학교 그리고 유명저널들이 해당 선언문에 서명하게 된다. 2016년 3월에는 서울대, 고려대, 연세대, 카이스트, 포스텍이 ʻ정부의 연구업적 평가 시스템이 대폭 개선되어야 한다.' 고 강조하며, 한국판 DORA 선언문을 발표하였다. 주요 내용은 아래와 같다.

기존의 IF기반 양적 성과지표를 넘어서는 새로운 연구 성과 평가 방법을 도입하기 위한 국내외 많은 노력들이 계속되고 있고 국내에서는 KISTEP(Korea Institute of S&T Evaluation and Planning, 한국과학기술기획평가원)을 중심으로 제도적 개선을 위한 연구들이 지속되고는 있지만 국내에서는 뚜렷한 대안을 찾지 못하고 있는 상황이다. 

IF(임팩트 팩터)같은 수치로만 학자들을 줄세우는 학교와 교육기관, 그냥 덮어두고 모르는 척 지나가는 학계와 주변 연구자들 그리고 이런 절박함을 이용하는 저널들과 출판계 모두가 암묵적인 카르텔을 형성하고 있는 구조적인 문제를 극복하고자 하는 대안 평가 방법 중에서 중요한 시도가 알트메트릭스(altmetrics)이다.

소셜미디어 공유까지 고려한 대안적 측정 '알트메트릭스' 

알트메트릭스는 엄밀히 말하면 기존 인용수 기반 IF의 완벽한 대안은 아니고 IF가 가지는 한계를 극복할 수 있는 보조지표수단으로 떠오르고 있다. alternative와 metrics의 합성어로서 논문 단위 평가 지표의 대안적인 방법이라는 뜻이다. 연구 성과에 대한 신속한 반응을 제공하고 영향도 측정 기준의 확장을 통한 학술 생태계의 다양성을 반영하고자 뉴스, 정책보고서, 북마크, 다운로드 수, 위키 및 소셜미디어 공유 같은 다양한 디지털 지표들을 고려한 지수를 도입하자는 선언이다. 2011년 유안 에이디(Euan Adie)는 이를 기반으로 통합 지표를 제공하는 서비스를 제공하고 있다.

물론 알트메트릭스 역시 논문의 모든 것을 말해주지는 않는다. 그리고 IF처럼 또 다른 양적평가지표인 것은 마찬가지다. 가짜 인플루언서 사례에서 보듯이 소셜미디어에서의 인용이 인위적으로 과장되거나 조작될 수 있어 주의깊은 사용이 요구된다. 다만 네이처의 다양한 논문들과 기고문을 보면 알트메트릭스가 효용성 높은 연구성과 평가지수를 제공할 수 있다는 견해들이 많다. 

알트메트릭스의 시사점은 연구 환경과 연구결과물의 이용 그리고 그 파급력에 대해 관점의 확장이 필요함을 보여줬다는 것이다. 연구활동조차 온라인을 기반으로 이루어지고 있고 논문의 적용분야 역시 더 다양해지는만큼 평가 역시 다각화되어야 한다는 것을 함의하고 있다. 또한 알트메트릭스는 저널 단위의 평가뿐만이 아니고 논문 자체의 파급력에 주안점을 둔 방법론으로써 그 가치에 대한 평가가 계속 이뤄지고 있다.

다시 강조되는 연구윤리와 사회적 책임

세상에 완벽한 평가방식은 없다. 평가방식을 어떻게 바꾸든 한계와 헛점이 존재한다. 그래서 다시 한번 강조해야할 것은 연구자의 연구윤리다. 현대에 와서 연구 개발이 활발해지고, 과학기술이 사회에 막강한 영향력을 미치게 되면서 연구자의 사회적 책임이 강조될 수밖에 없다. 연구자의 사회적 책임이란 연구를 수행함에 있어 그 과정과 결과가 가지는 장기적이고 사회적인 영향력에 대해 도덕적 책임을 지는 것을 말한다. 연구자의 연구 과정이나 결과가 사회에 미치는 영향이 지대하기 때문이다. 연구비리는 국가사회적으로 큰 문제를 지속적이고 장기적으로 야기한다. 정부 및 교육기관이 연구성과를 실적과 양적으로만 평가하는 지금의 과학기술연구 평가 방식으로는 가짜 학회와 약탈적 저널 악용 문제를 근본적으로 해결할 수 없다. 오히려 악순환만 가져올 것이다.

사실상 어떤 지표가 개발 되더라도 연구분야라는 것은 연구자나 학계 이외에는 잘 모르는 전문분야일 수 밖에 없다. 질적평가는 그들만이 가능하다는 것이다. 연구자와 학계 스스로의 자정노력 없이는 그 어떤 연구 성과 평가방법이 나와도 무의미하다. 특히 오픈 액세스 운동과 오픈 액세스 저널이 성장하고 있는 지금 그 기본취지를 잘 살리기 위해서는 연구윤리 원칙 준수야말로 연구자의 가장 기본이 되는 철학이여야 한다. 석박사과정 학생들이 그저 연구윤리 한 과목을 수강하고 학점만 따면 연구윤리 문제는 끝난 것으로 생각한다면 우리는 제2의 황우석, 제2의 경상대 수학과 교수들을 다시 보게될 것이다.

미국의 연구윤리학자 레스닉(D. B. Resnik)은 많은 영향력 있는 연구기관에서 추구하는 윤리적 지향점을 조사하여 도출한 윤리원칙(ethical principles)을 정리했다. 아래 도표는 그중 일부이다.

과학연구를 실행함에 있어 가장 중요한 덕목은 '정직함'이다. 유럽 과학계 심층인터뷰 연구 보고서를 보면 연구윤리 위반은 단지 개인만의 문제, 개인 성향의 문제가 아니다. 연구윤리의 준수와 정직함은 과학 연구 과정을 통한 공고한 성취의 문제라고 지적하고 있다. 연구윤리는 올바른 과학적 연구를 위해 학계 전체가 추구해야하는 지향점이다. 가짜 학회와 약탈적 저널을 통한 피인용수 부풀리기에 가담한 국내 연구자들의 문제가 결코 그들 개인만의 문제로 판단해서는 안되는 이유다. 

연구 성과 평가방법의 고도화와 함께 연구자들의 연구윤리 상시 교육 강화 그리고 학계의 자정활동까지 종합적으로 개혁이 이루어져야할 시점이다. 그러지 않고는 한국의 과학수준과 사회수준을 한단계 업그레이드 하는 것은 불가능하다.