2.1 ELF 기준 메모리 구조#

Linux ELF 실행 파일 기준으로 주요 메모리 영역은 다음과 같다.

예를 들어 문자열 비교 로직을 분석한다면 .rodata에 저장된 문자열과 .text에 존재하는 비교 루틴을 함께 확인해야 한다.

2.2 x86_64 주요 레지스터#

x86_64 환경에서 자주 보는 레지스터는 다음과 같다.

System V AMD64 ABI 기준으로 Linux x86_64 함수 호출 시 인자는 보통 RDI, RSI, RDX, RCX, R8, R9 순서로 전달된다.

3.1 파일 정보 확인#

먼저 파일의 형식과 아키텍처를 확인한다.

1
file ./target
2
checksec ./target
3
readelf -h ./target

file 명령어는 실행 파일 형식과 아키텍처를 확인하는 데 사용된다. checksec은 NX, Canary, PIE, RELRO 같은 보호 기법 적용 여부를 확인할 때 유용하다. readelf는 ELF 헤더, 섹션, 심볼 정보를 분석할 수 있다.

3.2 문자열 분석#

실행 파일 안에 포함된 문자열은 프로그램의 기능을 추측하는 단서가 된다.

1
strings -a ./target
2
strings -a ./target | grep -i pass

예를 들어 다음과 같은 문자열이 발견되었다고 가정하자.

1
Input password:
2
Correct!
3
Wrong password!

이 경우 프로그램 내부에 패스워드 검증 루틴이 존재할 가능성이 높다. 분석자는 해당 문자열이 참조되는 위치를 찾아 검증 로직으로 이동할 수 있다.

3.3 디스어셈블과 디컴파일#

정적 분석 도구는 바이너리 코드를 사람이 읽을 수 있는 형태로 변환한다.

예시 C 코드는 다음과 같다.

1
#include <stdio.h>
2
#include <string.h>
3

4
int main() {
5
    char input[32];
6

7
    printf("Input password: ");
8
    scanf("%31s", input);
9

10
    if (strcmp(input, "rev_basic_2026") == 0) {
11
        puts("Correct!");
12
    } else {
13
        puts("Wrong password!");
14
    }
15

16
    return 0;
17
}

컴파일된 바이너리에서는 위 코드가 다음과 유사한 어셈블리 흐름으로 보일 수 있다.

1
lea     rdi, [rbp-0x20]
2
lea     rsi, [rip+0x2004]      ; "rev_basic_2026"
3
call    strcmp
4
test    eax, eax
5
jne     wrong
6
lea     rdi, [rip+0x2015]      ; "Correct!"
7
call    puts
8
jmp     end
9
wrong:
10
lea     rdi, [rip+0x2020]      ; "Wrong password!"
11
call    puts

strcmp()는 두 문자열이 같으면 0을 반환한다. 따라서 test eax, eax 이후 jne wrong 분기가 존재한다면, eax가 0이 아닐 때 실패 루틴으로 이동한다는 의미이다.

4.1 디버거 실행#

Linux 환경에서는 gdb나 pwndbg, gef 같은 플러그인을 자주 사용한다.

1
gdb ./target

기본적인 디버깅 명령어는 다음과 같다.

4.2 브레이크포인트 설정#

문자열 비교 함수에 브레이크포인트를 걸면 입력값과 정답 문자열의 위치를 확인할 수 있다.

1
break strcmp
2
run
3
info registers
4
x/s $rdi
5
x/s $rsi

x86_64 Linux 환경에서 strcmp(a, b)가 호출될 때 첫 번째 인자 a는 RDI, 두 번째 인자 b는 RSI에 들어간다. 따라서 x/s $rdi, x/s $rsi를 사용하면 비교 대상 문자열을 확인할 수 있다.

4.3 실행 흐름 추적#

조건 분기는 리버싱에서 매우 중요한 단서이다.

특히 cmp, test 이후 나오는 조건 점프를 보면 성공 루틴과 실패 루틴을 구분할 수 있다.

5.1 비밀번호 검증 패턴#

비밀번호 검증 로직은 보통 다음과 같은 형태를 가진다.

1
call    strcmp
2
test    eax, eax
3
jne     fail

이 패턴은 문자열 비교 결과가 0이 아닐 경우 실패 루틴으로 이동한다는 의미이다. 따라서 분석자는 fail 라벨의 반대쪽 흐름을 따라가며 성공 조건을 확인한다.

5.2 길이 검증 패턴#

입력 길이를 확인하는 코드에서는 strlen() 호출 이후 비교 명령어가 등장하는 경우가 많다.

1
call    strlen
2
cmp     rax, 0x10
3
jne     fail

위 코드는 입력 문자열의 길이가 0x10, 즉 16바이트가 아니면 실패한다는 뜻이다.

5.3 반복문 패턴#

문자 단위 검증에서는 반복문과 인덱스 증가가 함께 나타난다.

1
mov     eax, 0
2
loop_start:
3
movzx   edx, byte ptr [rbp+rax-0x30]
4
xor     edx, 0x23
5
cmp     dl, byte ptr [rip+rax+table]
6
jne     fail
7
add     rax, 1
8
cmp     rax, 0x10
9
jne     loop_start

이러한 코드는 입력값을 한 글자씩 가져와 연산한 뒤 테이블 값과 비교하는 구조이다. 이 경우 분석자는 반복문의 종료 조건, 연산 방식, 비교 테이블을 함께 복원해야 한다.

6.1 조건 분기 패치#

예를 들어 다음과 같은 코드가 있다고 가정한다.

1
test    eax, eax
2
jne     fail

jne fail은 비교 결과가 0이 아닐 때 실패 루틴으로 이동한다. 실습용 바이너리에서는 이 조건 분기를 반대로 바꾸거나 NOP 처리하여 실행 흐름이 어떻게 변하는지 관찰할 수 있다.

이 과정의 목적은 무단 우회가 아니라 어셈블리 명령어와 프로그램 흐름이 어떻게 연결되는지 이해하는 것이다.

6.2 후킹의 개념#

후킹은 특정 함수 호출을 가로채서 인자나 반환값을 관찰하거나 바꾸는 기법이다. 보안 분석에서는 프로그램이 어떤 API를 호출하는지 추적하기 위해 사용된다.

예를 들어 분석자는 다음과 같은 질문을 던질 수 있다.

• 어떤 파일을 열려고 하는가?
• 어떤 네트워크 주소에 접근하려 하는가?
• 어떤 입력값을 비교 함수에 전달하는가?
• 암호화 함수에 들어가는 평문과 키는 무엇인가?

후킹은 매우 강력한 분석 방법이지만 실제 서비스나 타인의 프로그램에 무단으로 적용해서는 안 된다.

7.1 대표적인 안티 리버싱 기법#

이러한 기법은 분석 난이도를 높이지만 분석을 불가능하게 만들지는 않는다. 분석자는 먼저 표면적인 실행 흐름을 파악하고, 점진적으로 복원 범위를 넓혀야 한다.

7.2 안전한 분석 환경#

알 수 없는 바이너리를 분석할 때는 격리된 환경을 사용하는 것이 좋다.

• 가상 머신 사용
• 네트워크 격리
• 스냅샷 생성
• 분석 로그 기록
• 해시값 저장
• 원본 파일 보존

특히 출처가 불분명한 파일은 절대 메인 환경에서 실행하지 않아야 한다.

8.1 기본 정보 확인#

1
file ./target
2
sha256sum ./target
3
checksec ./target

8.2 문자열 확인#

1
strings -a ./target | less

8.3 함수 구조 확인#

1
objdump -d ./target | less

또는 Ghidra, IDA Free 같은 도구로 함수 목록과 참조 관계를 확인한다.

8.4 디버깅#

1
gdb ./target
2
break main
3
run
4
disassemble main

8.5 핵심 로직 정리#

분석 중에는 다음 내용을 꾸준히 기록해야 한다.

9.1 추천 학습 순서#

1. C언어 포인터와 메모리 구조 이해
2. x86_64 어셈블리 기본 명령어 학습
3. gdb로 간단한 C 프로그램 디버깅
4. Ghidra로 함수와 문자열 참조 분석
5. CTF Reversing 문제 풀이
6. ELF, PE 파일 구조 학습
7. 난독화와 패킹 개념 이해

리버싱은 처음에는 어셈블리 때문에 어렵게 느껴지지만, 반복되는 패턴을 익히면 점점 프로그램의 구조가 눈에 들어오기 시작한다.

오늘은 리버싱의 기본 개념과 정적 분석, 동적 분석, 어셈블리 해석, 패치와 후킹의 원리, 안전한 분석 환경까지 알아보았다.