『통번역학에서의 시험과 평가』에서는 명확하게 정의되고 더욱 포괄적인 구인에 대한 필요성, 테스트에 대한 현재 접근방식에 있어서 경험적 분석의 가치, 점수 산정 시 일관성 유지, 평가 절차를 지속적으로 검토 및 수정하는 것의 중요성과 같은 이슈들에 대해 논의하고 있고, 통번역학에서 어떻게 측정할 수 있을지를 모색하고 있다. 이러한 이슈들은 통역 수업을 진행하는 교실에서 부터 국가 인증시험 개발 및 통번역 품질에 대해 판단을 내리는현장에 이르기까지 통번역 평가가 이행되는 다양한 맥락과 연관이 있다. 교사, 테스트 집행관, 실무자, 그리고 연구자들은 이 이슈들에 대한 체계적 방안, 신뢰할만한 실행방안을 제시할 수 있도록 테스트 원칙에 기반한 방안을 제시할 필요가 있다. 이 책에서의 논의를 바탕으로 통번역 테스트 분야와 관련된 이들이 좀 더 발전된 논의를 진행할 수 있기를 희망한다(‘서론’ 중에서).

역자 : 홍설영 역자 홍설영은 한국외국어대학교 스페인어과를 졸업하고 동 대학 통번역대학원 한영과에서 국제회의통역 석사, 통번역학 박사학위를 취득했다. 현재 한국외대 통번역대학원 한영과 겸임교수로 재직 중이며, 이화여대 통번역대학원 조교수, 계명대학교 일반대학원 초빙교수, 주한미국대사관 전속 통역사 등을 역임했다. 현재 프리랜스 국제회의통역사로 활동하고 있으며, 관심 연구분야는 통역 교육, 수사학, 질적연구이다. 역서로 「초심으로 돌아가는 회의통역해설」, 「번역학 연구방법론」, 「통번역학에서의 시험과 평가」가 있다. 역자 : 마승혜 역자 마승혜는 이화여자대학교 영어영문학과를 졸업하고 New York University에서 TESOL 전공 석사학위와 서울외국어대학교대학원 한영과에서 국제회의통역 전공 석사학위 취득 후, 한국외국어대학교 통번역대학원 한영과에서 통번역학 박사학위를 취득했다. 프리랜서 통번역사로 다양한 분야의 통번역 실무에 참여하며 한국외국어대학교와 동국대학교에 출강하고 있다. 관심 연구 분야는 문학번역과 통번역 교육 분야이며, 대표 논문으로는 “장르기반 평가어 한영번역 교육”(2011), “한영번역 시 코퍼스 기반 의미운율 교육의 필요성”(2014), “한국 젠더 번역 사례 연구-The Awakening 번역을 중심으로”(2015), “소통적 문학번역 사례 연구 및 교육적 함의”(2016), “폴리시스템(Polysystem) 이론에 관한 고찰 및 이론 진화를 위한 새로운 논의”(2017) 등이 있다.

발간사 ● 5 서론 ● 9 제 1 부 평가 도구 개발 이론 적용 평가기준표 활용을 통한 번역능력 평가 _ 클라우디아 V. 안젤렐리 ● 29 단어 이상의 차원에서 중재된 상호작용 평가 _ 홀리 야콥슨 ● 81 제 2 부 평가 도구 개발 경험적 접근 방식 규준지향적 번역 평가의 장점 _ 준 아이크만, 필립 앤케어트, 비니베르 시게르스 ● 117 캐롤의 척도 적용 _ 엘리자벳 티셀리우스 ● 143 의미 중심 번역 평가 _ 김미라 ● 181 응결성 평가 _브라이언 제임스 배르와 타티아나 비스트로바-매킨타이어 ● 233 소프트웨어 로컬라이제이션의 평가 _카이란 던 ● 271 제 3 부 전문자격 인증 사례연구의 교훈 유럽의 회의통역 과정 입학시험의 예측 타당도 _ 사카 티마로바와 해리 언고드-토마스 ● 329 첫 단추 잘 꿰기 _ 캐런 본템포, 제미나 네이피너 ● 359 평가의 주요 성공요인으로서의 표준 _ 힐데가르트 베르마이렌, 얀 반 구흐트, 린처 드 본트리더 ● 427 미국식 수화 - 영어 통역사 평가 _ 데브라 러셀, 캐런 말콤 ● 473

[서론] 통번역학에서 테스트 및 평가에 관한 연구와 실제간 소통의 필요성 통역과 번역은 실질적 연구를 기반으로 탐구하는 분야이다. 통번역 품질에 대한 개념은 통역과 번역 두 분야 모두에서 중요한 것이고, 통번역학 연구를 위해 사용되는 도구 및 과정을 바탕으로 한 품질 측정뿐만 아니라 초기 학습 단계에서 이행하는 교육 프로그램의 형성평가 시에도 그리고 고급 단계에서 실시하는 전문가 인증을 위한 평가도구 개발 시에도 통번역 품질 개념은 중요하다. 이처럼 통번역 분야에서 평가 및 테스트는 다양한 목적을 위해 이행된다. 예를 들어 교육 과정 입학을 위한 지원자 선별, 통번역 수업 수강 학생에게 피드백 제공, 수강 후 습득한 지식 및 기술 테스트, 목표를 달성하는데 있어 통역사가 중요한 역할을 한 경우 통역 품질 측정, 통번역 전문가 역량 인증, 제품의 로컬라이제이션 수준 결정, 또는 연구를 위해 번역된 설문조사 및 기타 도구의 영향 측정 시 통번역 평가 및 테스트가 이행된다. 이론과 관련된 논의 중 대부분은 이론적 측면에서의 품질, 특히 번역학 연구 측면에 치중되어 있다. 번역학 연구에서 언급된 기존의 이론적 틀은 원문의 언어적 코드를 고수한 번역과 원문의 구조에서 다소 자유로운 번역으로 나누는 이분법적 방식을 기반으로 한다. 형태적 또는 역동적 등가 개념을 소개한 나이다(Nida, 1964)의 연구가 번역품질을 정의하기 위한 초기 접근방식 중 하나이다. 나이다의 연구에서 번역 품질을 결정하는 기반이 되는 것은 목표 독자층이 번역을 읽고 보이는 반응이다. 즉, 목표 독자층의 번역에 대한 반응이 원천 독자층이 원작을 읽고 보이는 반응과 등가를 이루어야 한다는 것이다. 뒤이어 뉴마크(Newmark, 1982)는 의미중심 번역 및 소통중심 번역이라는 용어를 사용하여 나이다의 형태적 및 역동적 등가개념과 유사한 이분법 구도를 소개한다. 투리(Toury, 1995)는 원천 문화의 “규범”을 고수하는 번역을 설명하기 위한 충분성(adequacy)과 목표 문화의 규범을 따르는 번역을 설명하기 위한 수용가능성(acceptability)이라는 용어를 사용하여 두 종류의 번역을 설명한다. 베누티(Venuti, 1995)는 번역이 실현되는 방식에 영향을 주는 불공평한 권력관계를 살펴보기 위해 이국화(foreignization) 및 자국화(domestication) 라는 용어를 도입하였고 바스틴(Bastin, 1998)은 좀 더 화용론적 차원에서 번역보다는 번안을 주장하였다. 스코포스 이론(Skopos Theory)(하팀 & 먼데이(Hatim & Munday,2004)에서 소개된 라이스와 페르미어(Reiss & Vermeer, 1984)가 강조하는 바는 번역의 목적이라고 할 수 있는 스코포스가 번역 품질을 측정하는 잣대가 되어야 한다는 것이다. 즉, 번역이 그것이 수용될 맥락의 언어적, 사회적, 문화적 규범을 충족시키고 있는가에 따라 번역에 대해 판단해야 한다는 것이다. 그 이후 하팀과 메이슨(Hatim & Mason, 1990, 1997), 히키(Hickey, 1998) 및 베이커(Baker, 1992)와 같은 연구자들은 번역 모델을 제시하고 번역 품질을 기술하기 위해 이론언어학, 화용론, 사회언어학 및 담화분석과 같은 영역을 활용하였다. 이 연구자들은 번역된 텍스트의 심도 깊은 분석을 위해 이론적 틀을 사용하여 번역 모델 을 제시하였고, 특히 원천 텍스트가 사용되는 기호학적, 화용론적, 사회문화적 맥락(텍스트의 비언어적 측면)에서 텍스트 종류 별 언어적 차이및 담론적 요소에 초점을 맞추었다. 하우스(House, 1981, 1997, 1998)는 화용론을 기반으로 구체적으로 번역 품질 평가에 초점을 맞춘 첫 번째 연구자들 중 한 명이고, 그는 기존에 분류해 온 두 타입의 번역에 대해 내재적 그리고 공개적이라는 용어를 사용하여 분류하고 있다. 공개적 번역은 목표 세계가 원천 세계에 대해 알아볼 수 있도록 또는 다른 문화나 담화 속의 커뮤니티를 “엿듣는 것”이 가능하도록 번역하는 것이고, 원작의 사회-문화적 맥락을 충실히 유지하는 번역 방식이다. 그래서 명백하고 공개적인 번역이라고도 한다. 반면 내재적 번역은 목표 담화 커뮤니티의 기대 및 규칙을 충족시키도록 “등가적 발화를 재생”하는데 사용되는 방식이다(하우스, 1998: 65). 바스틴, 나이다, 뉴마크, 투리, 라이스 와 페르미어, 베누티처럼 하우스도 원천 텍스트와 좀 더 유사한 텍스트와 기능적 화용적 등가를 달성하기 위해 원천 텍스트의 언어적 코드와는 거리를 둔 텍스트를 구별한다(하우스, 2001). 이상 연구자들이 제안한 모델에 따르면 번역 품질은 번역의 목적 및 기능에 따라 달라진다. 번역학에서 새로운 지평을 개척한 위 연구자들은 정확성에 초점을 맞춰온 전통적인 번역 관점에서 벗어나 번역이 이행되는 다양한 맥락에 주목한다. 종(Zhong, 2002: 575)은 정확성을 중시한 전통적인 번역 관점을 “번역이 (단어-의미적 차원에서) 정확하고, (원천 텍스트에 대해) 충실하며, 객관적이고, 어느 한 쪽으로 치우치지 말 것을 요구하는” 패러다임이라고 정의한다. 하우스(2001: 247)는 “등가는 확실히 형태적, 통사적, 단어적 유사성과 연관된 것만은 아니다. 그 이유는 두 개의 다른 언어에서 언어 항목들은 복잡할 정도로 모호하고 각 언어는 다른 방식으로 현실을 구현하기 때문이다”라고 언급한다. 그러나 지금까지 제시된 번역 품질 모델 중 그 어떤 것도 “어떻게” 효과적으로 정확하게 품질을 측정할 것인지를 해결해주지는 못하고 있다. 연구자는 “독자 반응”이 어떻게 측정되고 비교될 수 있는지, 번역이 목표 담화 커뮤니티에 수용가능한지 아닌지를 증명하는 변수들은 어떻게 결정할 것인지, 번역의 “기능”이 측정 가능한 용어로 어떻게 정의될 수 있는 지와 같은 질문에 대해 심사숙고해 보아야 한다. 이 질문들은 아직 선행 연구에서 명확한답을 찾지 못한 질문들이다. 통역 수행 테스트 및 평가 또한 유사한 딜레마에 직면한 상태이다. 전통적으로 통역 연구에서는 1953년 국제회의통역사협회(International Association of Conference Interpreters(AIIC))설립 이후 회의 통역에 초점을 맞추어 왔다. 초기 경험적 연구는 심리학 분야에서 시작되었고 동시 통역의 인지적 과정에 초점을 맞춘 연구(푀히하커(P?hhacker), 2004)였다. 셰이(Hsieh, 2003)가 지적하였듯이 주로 충실성 및 정확성에 초점 을 맞춘 번역 방식을 시작으로 동시통역분야에서 이론적 발전이 이루어 졌다. 또한 통역사들은 “도관(conduit)” 개념을 바탕으로 통역 모델을 수립하는데 중요한 역할을 담당해 왔다. 도관 개념이란 통역사들이 중립적이고, 거리를 두고, 원 발화에 충실한 것을 의미한다(ibid: 12). 이와 같은 이론들은 어떻게 중재된 상호작용이 실제로 일어나는지를 정확하게 보여주지는 않는다고 연구에서는 언급하지만, 커뮤니티 통역에서는 최종적으로 이 이론들을 수용했다(안젤렐리(Angelelli), 2001 & 2004a; 클리포드(Clifford), 2005; 데이비슨(Davidson), 1999; 메츠거(Metzger), 1999; 로이(Roy), 2000; 바덴스조(Wadensj?, 1998 참조). 그러나 일반적인 통역 측정이나 구체적인 통역 수행 품질 및 경험적 연구를 바탕으로 타당하고 신뢰할만한 방식으로 품질을 측정하고 통역을 평가하며 문제를 해결하는 방법에 초점을 맞춘 연구는 거의 없었다. 몇몇 연구자만이 이 새로운 영역에서 연구를 시작하였다. 예를 들어 안젤렐리(2001 & 2004b)는 처음으로 심리측정(psychometrics)방법을 통해 캐나다, 멕시코 및 미국의 통역사들이 일하는 다양한 환경(법원, 병원, 사업 회의, 국제회의 및 학교)에서 통역사들의 역할에 대해 연구하는 타당하고 신뢰할만한 도구를 개발하였다. 안젤렐리(2003, 2007a & b)는 문화기술(ethnography)을 통해 수집한 경험적 데이터를 바탕으로 의료 관련 환경에서 광둥어, 흐몽어, 스페인어 통역사의 준비상태 및 언어 숙달 정도를 측정하는 평가 도구를 개발하였다. 소여(Sawyer)는 미국 석사과정 프로그램에서 통번역 역량 측정에 관한 사례 연구를 실시하였고, 통번역 테스트 타당성 검증의 정치적, 윤리적 결과에 대한 논의를 시작하였다. 클리포드는 담화 이론을 기반으로 통역사 인증 테스트를 개발하였다. 그리고 경험적으로 개발된 구인(構因, constructs) 및 역량요소를 통한 보다 철저하게 평가에 접근할 것을 주장하였고 인증 도구 개발 시 심리측정 방식을 활용해볼 것도 주장하였다. 전세계적으로 여러 단체 및 통역사 교육 프로그램에서 평가 도구를 개발하였지만, 이 도구들이 일반적으로 설명되고 제시되지는 않을뿐더러 테스트 및 평가에 대한 타당하고 신뢰할 만한 방식을 기반으로 하고 있지도 않다(클리포드, 2005; 안젤렐리,2003, 2007a & b). 번역가 및 통역사 역량(competence)과 수행(performance)에 대한 평가, 그리고 산업, 교육 또는 연구라는 다른 목적 하에 수행되는 통번역 과정 및 결과물에 대한 평가와 관련된 경험적 연구는 충분치 않다. 게다가 다른 나라의 고부담(high-stakes) 인증 프로그램 및 기준에 대한 연구자료는 거의 발간되지 않았다. 평가는 진공상태에서 진행되었다고도 할 수 있고, 평가 관련 프로세스를 투명하게 진행하기 위해서는 그 과정이 정확하게 기술되어야 할 필요가 있다. 이 책을 집필하게 된 계기는 2년에 걸쳐 진행했던 ATA 리서치 포럼에서 테스트 및 평가에 관해 논의하면서이다. 지난 5년동안 전문적인 회의 자리를 마련하여 인증 기관, 정부, 업계(에이전시뿐만 아니라 프리랜서 포함)와 더불어 통번역학에서의 이론적, 경험적 연구에 관해 논의하기 위해 노력해왔다. 이를 바탕으로 미국 통역사 협회(AmericanTranslators Association, ATA) 내에 ATA 리서치 포럼이 설립되었다(안젤렐리, 2004). 당시 테스트와 평가뿐만 아니라 통번역 역량, 품질 정의 및측정에 관해 집중적으로 논의의 장을 펼친 ATA 포럼 발표자 및 참석자들에게 편집부는 감사를 표한다. 당시 발표자들 중 일부의 연구가 이 책에 수록되어 있다. 리서치 포럼에서 더 나아가 편집부는 ATISA, EST, ITIT, The Linguist List와 같은 네트워크 및 국내외 웹사이트 그리고 통번역 교육 및 연구 관련 대학에 투고요청을 하였다. 편집부는 또한 이전에 테스트 분야를 연구한 학자들에게도 연락하였고, ATA및 AAAL과 같은 전문 협회에도 투고요청을 하였다. 앞서 제시하였듯이, 이 책은 통번역 연구 시 필수적인 품질 측정 관련 이슈를 다루고 있다. 수록된 논문들에서는 언어 및 배경(대학 교실,연구, 민간 부문 및 전문 협회)을 막론하고 과정 및 결과물에 초점을 맞추어 품질을 측정하는 것과 관련된 이슈들을 살펴보고 있다. 저자들은 번역, 통역 또는 통번역 분야의 연구자, 교육자 및 박사과정생으로 테스트 및 평가를 중점적으로 다루고 있다. 또한 다양한 관점에서 이슈들에 접근하고 있는데, 굉장히 구체적인 변수에 초점을 맞추고 있는 저자도 있고, 좀 더 거시적 관점을 제시하는 저자도 있다. 즉, 번역 또는 통역 측정에 관해 더욱 세부적인 관점(번역 시 텍스트 응결성 측정 통역 시상호작용 역량 측정 통역사의 통역을 측정하는데 있어서 특정 평가척도(scale)사용, 또는 성적 산정 시 구체적인 접근 방식 적용)을 제시하는 저자도 있고, 프로그램 평가에 관한 거시적 견해(국가 차원에서 통번역사 인증 또는 프로그램 입학 과정)를 제시하기도 한다. 이 책은 세 부분으로 구성되어 있다. 첫 번째 부분은 통번역 평가 시 이론적 근거가 되는 요소들, 구체적으로 구인(construct) 정의 및 평가기준표(rubric) 개발과 관련된 것이다. 두 번째 부분에서는 준실험적(quasiexperimental) 또는 비실험적(non-experimental) 설계를 바탕으로 이행한 경험적 연구 결과에 대해 논의하고 있다. 또한 전체적/직관적-인상주의적, 분석적, 이분법적 요소 및 방법을 포함한 평가 방법들 그리고 평가척도를 적용한 점수화(grading)에 대해 상세하게 설명하고 있다. 평가타입(예를 들어 의미 중심의 평가타입) 및 평가요소(예를 들어 응결성 평가)에 대한 설명도 제시하고 있다. 세 번째 부분에서는 좀 더 폭 넓은 차원에서 사례연구를 제시하고 있는데, 입학 테스트 및 전문가 인증에 대해 설명한다. 각 부분의 경계는 다소 유동적이라 할 수 있고, 이 책의 실질적 목적에 따라 분류해 놓았다. 이 책의 장점이라고 한다면 모든 장(章)을 아우르는 공통분모가 있고 다양한 방식으로 연결되어 있다는 것이다. 세 부분 모두에서 테스트에 대한 다양한 접근방식을 소개하고 있고(이론적, 경험적, 기술적 접근 방식), 여러 텍스트의 다양한 목적(입학 또는 인증)과 다양한 테스트 타입(평가기준표, 평가척도, 적성)을 기술하고 있으며, 각기 다른 평가 기능(교육적 목적을 위한 형성평가 또는 인증을 위한 고부담 테스트)에 대해 논하고 있다. 테스트 평가요소(번역 또는 통역 역량)와 측정을 위한 접근방식(규준지향적(norm-referenced) 또는 목표지향적(criterion-referenced) 테스트, 총괄적(holistic), 분석적(analytic) 또는 이분법적(dichotomous) 테스트)이라는 측면에 있어서 각 장(章)들은 서로 연결되어있다. 전반적으로 저자들은 연구와 실제 간의 소통을 주장한다. 첫 번째 파트에서는 테스트 및 평가와 관련된 이론적 사항이 소개된다. 클라우디아 안젤렐리(Claudia V. Angelelli)는 테스트 개발 전 살펴보아야 할 기본적인 질문들에 대해 논의하고, 테스트 이론을 기반으로 번역 테스트를 개발할 것을 주장한다. 또한 번역학, 테스트 및 제2언어 습득과 관련된 연구들을 연계하는 구인에 대한 정의를 살펴본다. 안젤렐리는 번역 역량 평가요소를 명확하게 조작화(operationalize)하고 번역조직에 관한 연구를 바탕으로 다양한 언어에서 전문가 인증을 받고자하는 후보자들의 번역 능력을 측정하는 평가기준표를 제안한다. 홀리 야콥슨(Holly E. Jacobson)은 의료 통역에 관한 논의를 전개하며 이론과 평가요소 개발 연계에 대안 논의를 전개하고 있다. 상호작용 관련 사회언어학과 대화분석에서 도출된 개념을 기반으로 야콥슨은 통역사 수행능력 평가 시 더욱 포괄적인 접근방식을 개발할 필요가 있다고 지적한다. 통역사가 중재한 상호작용 측정 시 현재 사용되는 접근방식은 단어-의미적(lexico-semantic) 차원에 집중되어 있고 그 외 언어적 또는 상호작용적 특징을 제외하고 있어서 충분치 않은 면이 있다고 주장한다. 이 장(章)에서는 통역 시 상호작용 역량을 평가하는 분석적인 평가기준표를 개발할 수 있도록 하는 단계적 접근 방식이 제시된다. 두 번째 파트는 통번역 평가에 있어서 경험적 접근 방식에 초점을 맞추고 있고, 규준-지향적 번역 평가에 대한 준 이크만스(June Eyckmans), 필립 앤캐어트(Philippe Anckaert)와 비니베르트 시게르스(WinibertSegers)의 논의로 시작한다. 이분법적 항목(dichotomous items, CDI)을 번역 역량 평가 방법으로하여 교정(calibration)하는 것은 언어 테스트 이론 및 실제에서의 “항목(item)” 개념을 번역 평가에 가져오는 것으로, 결과적으로 평가자가 기존에 수립된 일련의 기준을 바탕으로 번역에 대해 평가하던 전통적인 번역 테스트 기법과 분리된 것이라고 저자들은 말한다. 통제된 경험적 설계하에서 심리측정 방식을 바탕으로 한 3가지 번역 평가 접근방식을 비교하며 저자들은 CDI 방법이 덜 주관적이고 더욱 신뢰할 만하다고 주장한다. 엘리자벳 티셀리우스(Elisabet Tiselius)는 통역 수행에 있어서 명료성 및 정보성 평가를 위해 캐롤(Carroll, 1996)의 평가척도를 적용한다. 원래 기계 번역 평가를 위해 고안된 캐롤의 평가척도를 영어-스웨덴어 동시통역 맥락에 적용하여 분석한다. 티셀리우스는 예비조사에서 통역 전사물에 대한 비전문가(통역사가 아닌 평가자)와 전문통역사의 평가점수 결과를 비교하였다. 예비조사결과 통역사나 일반인 간에 동시통역에 대한 평가 접근 방식에 있어서 큰 차이가 없는 것으로 나타났고, 향후 더 큰 규모의 후속 연구결과가 뒷받침되면, 그 결과는 테스트 및 평가를 위한 평가자 선정에 영향을 끼칠 수 있다. 미라 김(Mira Kim)의 연구에서는 학부 수업에서 번역 평가 시 체계적인 기준이 없는 것과, 학생 번역을 평가하고 번역과제에 대한 건설적이고 상세한 피드백을 주어야 하는 번역 교수자들이 직면한 난제에 대해 다루고 있다. 영한번역을 가르치며 확보한 정량적, 정성적 데이터를 바탕으로 김은 체계기능 언어학(systemic functional linguistics, SFL) 기반 의 미 중심 평가 도구의 교육적 효과성에 대해 기술한다. 브라이언 제임스 배르(Brian James Baer)와 타티아나 비스트로바-매킨타이어(Tatyana Bystrova-McIntyre)는 언어 쌍(language pairs) 내에서 차이점을 기록하기 위해 코퍼스 사용을 제안한다. 이는 평가 도구 개발을 위한 경험적 근거가 될 수 있다. 저자들은 영어와 러시아어에서 수집한 데이터를 기초로 3개의 독립적인-그러나 종종 간과되는- 텍스트 응결성 특성(구두점, 문장, 단락길이)을 측정하는 세부적인(granular) 평가 도구(다른 언어 쌍에 대해서 동일하게 적용 가능)에 대해 설명한다. 이와 같은 텍스트적 요소에 초점을 맞추다 보면 초보 번역가들이 목표 텍스트를 좀 더 거시적인 관점에서 단지 단어가 아닌 그 이상의 다양한 요소들로 구성된 전문적 결과물이라고 생각하게끔 한다고 덧붙인다. 번역 평가 관련 많이 다루어지지 않은 부분에 대해 연구한 케리언 듄(Kerian Dunne)은 로컬라이제이션 제품의 품질을 결정하는 방식에 대해 소개한다. 듄은 교육자와 실무자가 로컬라이제이션 수준에 대해 논의하고, 평가하고, 측정하고, 향상시킬 수 있는 공통의 틀을 찾아 평가에 대해 다시 생각해볼 수 있는 실질적인 방법에 대해 언급하고 로컬라이제이션 품질 평가에 영향을 끼치는 인식 및 오해에 대해 논의와 더불어 제약 사항에 대해 지적한다. 또한 구체적인 예시를 제공하면서 듄은 가능한 해결책을 모색해보고 증거 기반 평가 방식 개발을 위한 경험적 연구의 필요성을 언급한다. 세 번째 파트는 특정 통역사 교육 프로그램의 입학시험에 대해 논의하고 그와 유사한 유럽의 IEP 시험 응시생 선별 테스트의 효과성에 대해 세심히 연구할 필요가 있다고 주장하는 사카 티마로바(??kaTimarov?와 해리 언고드-토마스(Harry Ungoed-Thomas)의 탐색적 연구로 시작한다. 다수의 선형 및 로지스틱 회기분석(linear and logistic regression analyses)을 적용하여 IEP의 입학 시험과 프로그램 졸업 시 치르는 시험 간의 관계에 대해 연구한 저자들은 적성을 평가하는 이 특정 입학시험이 학생들의 입학 후 성공률을 잘 반영하지 못한다는 결론을 내리고 있다. 이 연구는 해석적 연구 특징을 갖고 있고, IEP 시험이 예측 타당도를 결정해야 할 뿐만 아니라 입학 및 졸업시험의 심리측정 연구를 포함한 전반적인 프로그램 평가도 진행할 수 있어야 한다고 지적한다. 같은 맥락에서 캐런 본템포(Karen Bontempo)와 제미나 내피어(Jemina Napier)도 호주의 수화통역사 교육과 관련된 두 선행연구의 데이터를 바탕으로 입학시험에 대한 연구를 설명한다. 한 연구는 호주 IEP의 효능성에 대해 과정 중 통역사들의 인식에 관해 분석한 것이고, 다른 연구는 통역사 교육에서 존재하는 실제와의 간극, 즉 IEP에서 다루어지지 않는 기술들에 대해 규명한 것이다. 이 데이터를 적용하여 저자들은 IEP에서 능력을 예측할 수 있는 6가지 요소를 측정하도록 입학시험을 설계?개발하는 예비연구를 진행한다. 이 예비연구에 IEP의 특정 수화언어과정 지원자 그룹이 참여하고 입학시험 결과와 졸업시험 결과를 비교한다. 그 결과, 저자들은 입학시험이 IEP의 졸업시험 수행능력을 잘 예측하지 못한다고 주장하며 현재 시행방식을 점검할 것, 그리고 교육의 질, 테스트 접근방식 및 IEP에서 사용되는 자료(resources)를 포함한 호주 국가 커리큘럼에 대해 점검할 것을 요구한다. 힐데가르트 베르마이렌(Hildegard Vermeiren), 얀 반 구흐트(Jan Van Gucht), 린처 드 본트디러(Leentje De Bontridder)는 벨기에 플랑드르(Flanders) 지방의 지역사회 통역사(social interpreters) 구어 인증 (spokenlanguage certification) 프로세스에 대한 상세한 설명 및 비판적 관점을 제시한다. 이주가 활발한 실정을 바탕으로 저자들은 그 지역의 언어를 말하지 못하는 이주민들에게 양질의 서비스를 제공하고자 하는 국가적 차원의 노력에 대해 설명한다. 동시에 적격 기관이 평가 및 기타 합리적 절차를 통해 이데올로기적 자기정당화를 확보하는 것에 대해 언급한다. 그 결과 타당성 이슈가 등장하고 이것이 평가 절차의 책임성 및 효율성과 관련된 사회적 압박을 증가시키는 동력이 된다고 주장한다. 연구에서 설명되는 인증 절차는 저자들이 객관화 요소라고 일컫는 목표 기준 평가표, 점수산정 가이드라인, 예정 준거 점수(predetermined cut-off scores) 및 삼각측량(triangulation)을 적용 및 이행하는 절차이다. 저자들은 통역 평가의 타당도, 신뢰도 및 실행가능성을 요구하고, 인증 시험 이행에서의 평가자 간 신뢰 및 평가자 연수에 대해 논의한다. 또한 테스트 자료 및 절차의 개선은 늘 필요하다고 덧붙인다. 데브라 러셀(Debra Russell)과 캐런 말콤(Karen Malcolm) 또한 캐나다 수화통역사 국가 인증 시 시행되는 테스트 과정에 대해 다루고 있다. 캐나다 수화통역사협회(Association of Visual Language Interpreters, AVLIC)의 테스트 시스템에 대한 평가를 바탕으로 인증을 받고자 하는 통역사를 지원하기 위해 포괄적, 반응적 테스트 프로세스가 개발되었다. 테스트 목적, 테스트 방법 및 절차, 테스트 구성, 파일럿 테스트 절차를 포함한 캐나다 테스트 모델이 상세히 제시된다. 온라인 필기 시험부터 테스트 응시자에게 제공되는 개별적 피드백까지 AVLIC 테스트 프로세스는 실제 담화상황에서 이행되고 전문 인증시험의 모델을 보여준다고 저자들은 설명한다. 그러나 이들 또한 인증 시험이 역동적으로 변하고 통역학이라는 분야가 끊임없이 진화하는 분야임을 지적하며 새로운 인증 모델은 지속적인 수정과정을 거쳐야 한다고 언급한다. 이 책에서는 명확하게 정의되고 더욱 포괄적인 구인에 대한 필요성, 테스트에 대한 현재 접근방식에 있어서 경험적 분석의 가치, 점수 산정 시 일관성 유지, 평가 절차를 지속적으로 검토 및 수정하는 것의 중요성과 같은 이슈들에 대해 논의하고 있고, 통번역학에서 어떻게 측정할 수 있을지를 모색하고 있다. 이러한 이슈들은 통역 수업을 진행하는 교실에서부터 국가 인증시험 개발 및 통번역 품질에 대해 판단을 내리는 현장에 이르기까지 통번역 평가가 이행되는 다양한 맥락과 연관이 있다. 교사, 테스트 집행관, 실무자, 그리고 연구자들은 이 이슈들에 대한 체계적 방안, 신뢰할만한 실행방안을 제시할 수 있도록 테스트 원칙에 기반한 방안을 제시할 필요가 있다. 이 책에서의 논의를 바탕으로 통번역 테스트 분야와 관련된 이들이 좀 더 발전된 논의를 진행할 수 있기를 희망한다.