이것저것

junit을 활용한 테스트 자동화에 익숙하다보니, api테스트 자동화 한다고 하면 request, response 동작을 위한 util 및 json / xml parser 등을 모두 구현해서 사용했었는데, 

그동안 왜 그랬나 싶을 정도로,, Rest-Assured는 잘 만들어진 api 테스트 자동화 도구이다. 

링크 : http://rest-assured.io/

환경 구성이나, 손 쉬운 사용법은 위 링크의 User Guide 문서를 참고하면 사용할 수 있다.

그래도 자동화 하면, 쉬운 반복 수행 및 결과 리포팅이 중요하니, 아래와 같이 구성하자.

• 빌드 도구 : maven (or gradle)
• 테스트 도구 : junit + rest-assured
• 리포트 : extent-report
• 통합 : Jenkins

환경 구성 (maven)

샘플 테스트 코드 예제 

Extent-Report 세팅

• 이전 포스팅 참고 : http://chigon.tistory.com/entry/%EC%9E%90%EB%8F%99%ED%99%94%EC%97%90-extent-report-%EC%A0%81%EC%9A%A9%ED%95%98%EA%B8%B0

Jenkins 연동

• Maven Project 생성 후  > Build Step에 mvn clean test 정도만 추가하면 완료
• html publisher plugin설정 후, 생성된 extent report 파일을 설정해주면 끝
• html report에 CSS가 jenkins 권한 등의 문제로 수행이 안된다면, 
• 젠킨스 관리 > Script console 에서 아래 명령어를 넣어준다.

• System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "")

지금은 API 테스트를 진행하라고 하면 rest-assured를 사용하기 때문에 다른 도구 사용할 일이 없지만

그래도 api testing 도구라고 하면 제일 많이 사용되는 도구가 뭐냐고 하면 SoapUI라고 말할 것 같다. 

이전에 SoapUI를 업무에 잠시 활용했을 때 나름 정리해두었던 내용을 여기에 다시 게시한다.

기본적인 사용법은 여기저기에 더 잘 정리되어 있으니, 생략하고.. tip 위주로..

Property 제어

• 프로퍼티는 동적으로 변경되는 값, 자주 변경되어야 하는 값을 처리할 때 사용하고, 가급적 프로젝트 레벨(혹은 Suite레벨)로 관리하자.
• 예) Endpoint URL, Username, MDN 등
• 프로퍼티 제어는 Groovy Script를 활용하거나 Property Transfer 등을 활용한다. 

Assertion

(3) Script Assertion

• 참고 : https://www.soapui.org/functional-testing/validating-messages/using-script-assertions.html

• import groovy.json.JsonSlurper def slurper = new JsonSlurper() def response = messageExchange.response.responseContent def json = slurper.parseText(response) def result = json.authToken log.info result   assert result != ""   messageExchange.modelItem.testStep.testCase.testSuite.project.setPropertyValue("authToken",result)

Groovy Script

• Javascript를 수행해야 하거나, Property를 제어하고자 할 때 많이 사용한다. 
• Property 수행예제, javascript 실행 예제, cookie 예제를 하나씩 정리한다.

(1) Property 수행 예제

• 참고 : https://www.soapui.org/scripting-properties/tips-tricks.html#0-1-how-to-get-and-set-properties-from-groovy

• // get properties from testCase, testSuite and project def testCaseProperty = testRunner.testCase.getPropertyValue( "MyProp" ) def testSuiteProperty = testRunner.testCase.testSuite.getPropertyValue( "MyProp" ) def projectProperty = testRunner.testCase.testSuite.project.getPropertyValue( "MyProp" ) def globalProperty = com.eviware.soapui.SoapUI.globalProperties.getPropertyValue( "MyProp" )   // setting values is equally straigh forward testRunner.testCase.setPropertyValue( "MyProp", someValue ) testRunner.testCase.testSuite.setPropertyValue( "MyProp", someValue ) testRunner.testCase.testSuite.project.setPropertyValue( "MyProp", someValue ) com.eviware.soapui.SoapUI.globalProperties.setPropertyValue( "MyProp", someValue )

(2) JavaScript 실행 예제

• import javax.script.*     // 기본으로 제공되는 JS엔진 사용 ScriptEngineManager factory = new ScriptEngineManager(); ScriptEngine engine = factory.getEngineByName("JavaScript") Invocable invocable = (Invocable) engine;     // JS 안의 메소드를 호출하는 인터페이스    // JS loginName 을 파라미터로 넣어 호출하기 위한 함수를 만들어준다. def rsaFile = new URL("https://www.domain.com/encrypt.js").getText(); rsaFile += """ function fireEncrypt(str){     return rsa.encrypt(str); }; """; // 넣지 않으면 navigator가 없어 에러가 남. engine.put("navigator", ""); engine.eval(rsaFile); def loginName = testRunner.testCase.testSuite.project.getPropertyValue("loginName");    // testSuite 에 설정한 property 를 읽어옴 def encryptedLoginName = invocable.invokeFunction("fireEncrypt", loginName);   testRunner.testCase.testSuite.project.setPropertyValue("encryptedLoginName",encryptedLoginName);      // testSuite 에 property 를 설정

(3) Cookie 설정 예제

• import com.eviware.soapui.model.iface.SubmitContext import org.apache.http.client.protocol.ClientContext import org.apache.http.impl.cookie.BasicClientCookie     // 현재 Case 가 실행되는 Context 를 받아와 여기에 저장한다. 그래서 이 Step 만 따로 실행하기는 안됨 def httpContext = context.getProperties().getProperties().get(SubmitContext.HTTP_STATE_PROPERTY)    def cookieStore = httpContext.getAttribute(ClientContext.COOKIE_STORE) def cookies = cookieStore.getCookies()     // 쿠키에 세팅할 값. def sampleCookie = new BasicClientCookie("sample","sampleData"); pcidCookie.setDomain(".naver.com")    cookieStore.addCookie(sampleCookie)

Reporting

• https://www.soapui.org/reporting/getting-started.html
• https://www.soapui.org/reporting/generating-html-reports.html

Jenkins 연동하기

1. 준비하기

• jenkins에 아래와 같은 plugin이 설치되어 있어야 한다.

  • junit attachments plugin

  • junit plugin

  • git plugin

  • svn plugin

• jenkins가 구동되는 장비에 soapUI가 설치되어 있어야 한다.

2. 수행하기

(0) Jenkins에서 프로젝트(new jobs) 생성 후..

(1) 소스(script) 코드 관리 부분 설정

소스(soapui script)를 버전관리시스템(리파지토리, 현재 bitbucket)에서 가져오도록 설정

(2) Build 부분 설정

• execute shell을 선택

  • command입력박스에 아래와 같이 입력 (SoapUI 의 TestRunner 수행을 위한 CommandLine 명령어를 넣어준다)

export JAVA_HOME=/app/jdk1.7.0_80;
SOAPUI_HOME=/home/SoapUI-5.2.1; export SOAPUI_HOME;
export PATH=$JAVA_HOME/bin:$PATH;
export WORKSPACE=$WORKSPACE/MyWorkspace;

rm -rf $WORKSPACE/report/JReport/*.xml;

$SOAPUI_HOME/bin/testrunner.sh -a -j -I -f$WORKSPACE/report/JReport -PEndpoint=www.naver.com $WORKSPACE/test_api_project.xml

• workspace는 soapui스크립트가 존재하는 곳을 지정하는 것이 좋음. 
• -f 옵션은 결과파일 위치 지정, -P옵션은 스크립트 수행에 필요한 파라미터입력
• 수행 전 기존 결과파일은 삭제하는 것이 좋음. 

(3)  빌드후 조치 부분 설정

•  publish junit test result report 선택

  • Test report XMLs :  MyWorkspace/report/JReport/*.xml

  • Additional test report features 체크박스 체크.

Open API란?

• 다양한 서비스와 컨텐츠 그리고 데이터를 좀 더 쉽게 이용할 수 있도록 공개한 인터페이스 (application pragramming interface)
• 내부를 몰라도 Open API를 통해 해당 서비스의 기능 및 데이터를 쉽게 이용할 수 있다. 

Rest ?

• 기존의 soap, wsdl 기반의 웹서비스를 대체하는 방식
• CURD를 위해 Http method 를 사용
• stateless 임 -> 세션, 쿠키값 등을 유지하지 않음
• 디렉토리 구조와 같은 URI를 통해 리소스 접근하고, XML/Json 데이터 구조를 통해 데이터를 전송함
• 구성
• HTTP URI (Resource) + HTTP Method + Message (json)
• Method
• GET (Read) / POST (Create) / PUT (Update) / DELETE (Delete)
• HTTP 응답코드
• 2xx - 성공
  
  • 200 OK
• 3xx - Redirection 
  • 304 Not Modified
• 4xx - Client Error
  • 400 Bad Request
  • 401 Unauthorized
  • 403 Forbidden
  • 404 Not Found
• 5xx - Server Error
• 500 Internal Server Error
• 503 Service Unavailable
• 504 Gateway Timeout

테스트 접근 방법

• open api의 사용자 관점에서 접근하되, sql query라고 생각하고 접근한다.
• api 스펙 등 문서 기반으로 접근한다.
• 전략
• method type별 테스트 
• GET : 조회 결과가 있을때, 없을때 
• POST : 중복 생성이 불가한 경우를 고려한 중복 등록 시도
• PUT : 존재하지 않는 데이터에 대한 수정 시도, 중복이 불가한 PK값으로 수정 시도
• DELETE : 존재하지 않는 데이터 삭제 시도 등.
• 응답코드 확인 테스트
• 문서에 존재하는 응답코드 별로, 응답코드를 발생시키는 테스트 수행
• 예) 필수 파라미터 누락, 존재하지 않는 데이터 조회 등
• 파라미터에 대한 입력 예외 케이스 
• String type의 경우 : 빈문자, 공백문자, 앞뒤 공백문자, 특수문자, 긴 문자열 등
• 숫자의 경우 : 문자, int 범위를 넘어서는 숫자, 음수, 0 등
• 날짜/시간 등 : 시간 연도 구분을 넘어가는 숫자 등 (25시간, 13월 등)
• 정의된 코드 값 : 정의되지 않은 값, 대소문자 구분 등
• 범위형 변수 : 시작과 끝, 시작과 끝을 벗어난 값 등
• 비즈니스 흐름기반, 혹은 사용자 시나리오 기반 테스트 수행
• api 하나로 기능을 확인할 수 없어, 여러 api를 호출해야 기능 하나를 확인할 수 있는 경우
• 사용자 권한에 따라 다르게 동작해야 하는 경우
• 여러 조건에 따라 다르게 동작해야 하는 경우 등.
• 보안 테스트 수행
• Parameter fuzzing
• SQL Injections
• Username harvesting
• Cross-site scripting
• External entities
• Schema invalid XML
• Large XML document
• Malformed XML