Đánh giá một nhà nghiên cứu: vì sao đếm bài và đếm trích dẫn không đủ

Đánh giá một nhà nghiên cứu là việc khó, và các chỉ số định lượng ra đời để làm nó dễ hơn. Chúng có ích ở mức sàng lọc, và gây hại khi thành thước đo chính.

Giới hạn của từng chỉ số

Số bài. Không phân biệt bài có đóng góp thật với bài chia nhỏ một kết quả thành ba phần. Và nó khuyến khích đúng hành vi thứ hai.

Số trích dẫn và h-index. Phụ thuộc mạnh vào quy mô lĩnh vực và tốc độ trích dẫn của lĩnh vực đó. Một nhà toán học và một nhà sinh học phân tử có cùng mức xuất sắc sẽ có h-index rất khác nhau.

Chúng cũng phụ thuộc thời gian trong nghề, nên so người mới với người lâu năm bằng chỉ số này là so không hợp lệ.

Và trích dẫn không đồng nghĩa với đúng: một bài bị trích dẫn nhiều vì nó sai và bị phản biện cũng có chỉ số cao.

Chỉ số của tạp chí. Đây là chỉ số bị dùng sai nhiều nhất. Nó là đặc tính của tạp chí, không phải của bài — phân bố trích dẫn trong một tạp chí rất lệch, nên phần lớn bài trong một tạp chí có chỉ số cao lại được trích dẫn ít hơn nhiều so với con số trung bình đó.

Dùng chỉ số tạp chí để đánh giá một bài cụ thể là thay việc đọc bài bằng việc đọc nhãn.

Khác biệt giữa các lĩnh vực

Điều này phải được tính tới trong mọi hội đồng liên ngành:

Các lĩnh vực y sinh và khoa học tự nhiên công bố nhiều bài, nhiều tác giả mỗi bài, và trích dẫn nhanh.

Các lĩnh vực xã hội và nhân văn công bố ít hơn, thường một hai tác giả, trích dẫn chậm hơn nhiều năm, và sách chuyên khảo có thể là sản phẩm quan trọng nhất — mà các hệ thống đếm bài thường bỏ qua sách.

Các lĩnh vực kỹ thuật có báo cáo hội nghị là kênh chính trong một số ngành, và bằng phát minh là sản phẩm đáng kể.

Áp một bộ tiêu chí cho mọi lĩnh vực là cách chắc chắn nhất để đánh giá sai các lĩnh vực không giống lĩnh vực mà bộ tiêu chí được thiết kế cho.

Hành vi lệch mà chỉ số tạo ra

Khi một chỉ số thành mục tiêu, những hành vi này xuất hiện — không phải vì người ta xấu mà vì họ làm theo động cơ được đặt ra:

Chia nhỏ kết quả thành nhiều bài.

Tự trích dẫn quá mức, và các nhóm trích dẫn lẫn nhau có tổ chức.

Thêm tên người không đóng góp để tăng số bài của họ.

Chọn đề tài an toàn, công bố nhanh, thay vì đề tài quan trọng và rủi ro.

Gửi bài tới nơi dễ được nhận, kể cả các tạp chí không đáng tin.

Hành vi cuối gây hại nhiều nhất và đã thành vấn đề thật ở nhiều nơi.

Cách đánh giá dựa trên nội dung

Thay thế khả thi, và không tốn nhiều thời gian hơn nếu làm đúng cách:

Yêu cầu người được đánh giá chọn ra ba tới năm sản phẩm tiêu biểu và viết một đoạn về đóng góp của mỗi cái, cùng phần việc của chính họ trong đó.

Đọc năm sản phẩm đó. Điều này cho thông tin nhiều hơn đọc một danh sách năm mươi tiêu đề.

Xem cả các sản phẩm không phải bài báo: sách, phần mềm, bộ dữ liệu, tài liệu hướng dẫn thực hành, bằng phát minh.

Xét cả việc đào tạo người khác — người được họ hướng dẫn đi tới đâu. Đây là một trong các chỉ dấu mạnh nhất về chất lượng một người làm nghiên cứu, và gần như không xuất hiện trong bộ chỉ số nào.

Xét đóng góp cho cộng đồng nghiên cứu: phản biện, biên tập, tổ chức hội nghị, xây dựng hạ tầng dùng chung.

Nếu vẫn phải dùng chỉ số

Trong nhiều hệ thống, dùng chỉ số là yêu cầu. Ba cách giảm hại:

So trong cùng lĩnh vực và cùng giai đoạn sự nghiệp, không so tuyệt đối.

Không dùng chỉ số tạp chí để đánh giá bài; nếu cần biết về bài thì đọc bài.

Dùng chỉ số ở bước sàng lọc, rồi đọc nội dung ở bước quyết định. Đảo thứ tự này là bỏ hẳn bước đọc.

Điều nên nhớ khi ở vị trí đánh giá

Mỗi quyết định đánh giá không chỉ xếp loại một người — nó phát tín hiệu cho tất cả những người đang quan sát về việc điều gì được thưởng.

Nếu hội đồng thưởng số lượng, cả đơn vị sẽ tối ưu cho số lượng trong ba năm tới. Nếu hội đồng đọc nội dung và nói rõ mình đánh giá điều gì, đó là can thiệp mạnh nhất có thể làm với văn hoá nghiên cứu của đơn vị.