2026-07-31

AES-256 파일 암호화는 양자컴퓨터로부터 안전할까?

NIST는 거의 10년에 가까운 시간 동안 공개 경쟁을 진행한 끝에 2024년 8월 첫 포스트양자 암호화(post-quantum cryptography) 표준 세 가지를 확정했습니다. 그 뒤로 "양자컴퓨터가 암호화를 무너뜨린다"는 제목의 기사들이 이어졌고, 방금 암호화한 파일을 두고 이런 질문을 떠올리는 것도 자연스러운 일입니다 — 이 보호에도 유효기간이 있을까? 정직한 답은 어떤 종류의 "암호화"를 말하는지에 전적으로 달려 있습니다. "암호화"라는 한 단어가 사실은 서로 무관한 두 가지 수학 문제를 함께 가리키고 있고, 그중 실제로 위태로운 쪽은 절반뿐이기 때문입니다.

"암호화"는 사실 두 가지 일을 하고 있고, 위협받는 건 그중 절반뿐이다

"암호화"라 불리는 것에는 서로 무관한 두 가지 알고리즘 계열이 섞여 있습니다. 첫 번째는 공개키(비대칭) 암호화 — RSA, ECDH, ECDSA, EdDSA — 로, 사전에 아무 비밀도 공유하지 않은 브라우저와 서버가 비밀을 합의하거나, 서명 하나로 누가 무언가를 보냈는지 증명할 수 있게 해주는 수학입니다. 두 번째는 대칭 암호화 — AES, ChaCha20, SHA-2 — 로, 양쪽이 이미 같은 키를 가지고 있고 그 키로 데이터를 직접 뒤섞고 되돌립니다. NIST가 2024년 8월 13일 확정한 세 표준 — ML-KEM(FIPS 203), ML-DSA(FIPS 204), SLH-DSA(FIPS 205) — 은 첫 번째 계열만을 대체합니다. 양자컴퓨터가 지름길로 풀 수 없는 수학 위에 세워진 새로운 키 교환·서명 방식으로, RSA와 타원곡선 알고리즘의 자리를 대신합니다. 어느 것도 AES는 건드리지 않습니다.

Shor 알고리즘이 실제로 무너뜨리는 것

첫 번째 계열이 키를 더 키우는 정도가 아니라 아예 새로운 알고리즘을 필요로 했던 이유는 Shor 알고리즘 때문입니다. 충분히 강력한 양자컴퓨터에서 Shor 알고리즘은 큰 수를 인수분해하고 이산로그 문제를 효율적으로 풀어내는데, 이것이 바로 RSA와 타원곡선 암호화가 딛고 서 있는 어려운 문제 그 자체입니다. 이건 부분적인 약화가 아니라 완전한, 지수적인 붕괴입니다. NIST가 RSA 키를 더 길게 쓰라고 권고하는 대신 완전히 다른 수학적 토대(격자 문제, ML-KEM과 ML-DSA의 근거)를 거의 10년에 걸쳐 공개 검토한 이유이기도 합니다.

Grover 알고리즘이 AES에 하는 일 — 그리고 하지 못하는 일

AES 같은 대칭 암호는 훨씬 작은 양자 위협만 마주합니다. 무차별 대입 키 탐색에 이론상 제곱근 수준의 속도 향상을 주는 Grover 알고리즘입니다. NIST 자체의 포스트양자 암호화 FAQ는 이 점을 직접 다룹니다: "이런 완화 요인들을 고려하면, Grover 알고리즘이 AES 공격에 거의, 혹은 전혀 이점을 주지 못할 가능성이 높으며, AES 128은 앞으로 수십 년간 안전할 것"이라고 밝히고, "Grover 알고리즘을 병렬화하기 어렵다는 점을 고려하면 AES 192와 AES 256 역시 매우 오랫동안 안전할 것"이라고 덧붙입니다 — 그리고 현재의 애플리케이션은 AES를 표준 키 크기 어느 것으로 쓰든 계속 사용해도 된다고 말합니다. 암호학 엔지니어 Filippo Valsorda — NearSeal의 옵트인 형식이 사용하는 age-encryption.org 형식을 직접 만든 바로 그 사람입니다 — 는 2026년 4월 분석에서 이를 구체적인 숫자로 제시했습니다. Grover 알고리즘으로 AES-128을 깨려면 724개의 논리 큐비트로 이루어진 양자 회로 약 140조 개를 10년 동안 병렬로 돌려야 하며, 이는 계산 비용으로 환산하면 약 2^104.5 — 그의 비교에 따르면 256비트 타원곡선에 대한 Shor 알고리즘 공격에 필요한 약 2²⁶ 게이트와 대비됩니다. 그 차이는 2^78.5이며, 해당 글은 이를 자릿수 그대로 430,000,000,000,000,000,000,000배 더 비싼 비용이라고 적고 있습니다 — 양자컴퓨터로 AES-128을 깨는 것이, 정작 양자컴퓨터가 잘하는 타원곡선 암호화를 깨는 것보다 그만큼 더 비싸다는 뜻입니다. 양자컴퓨터에 대응해 AES 키 크기를 두 배로 늘리라고 권고하는 표준 기구는 현재 없습니다.

"암호화"라는 한 단어 안에 서로 무관한 두 수학 문제가 섞여 있습니다. NIST의 2024년 표준은 비대칭 쪽을 대체할 뿐, AES-256-GCM 같은 파일 암호화의 대칭 암호는 이 전환 대상이 아닙니다.

"지금 수집해서 나중에 복호화하기"는 실재하는 위협이다 — 다만 특정 종류의 암호문에 한해서

그렇다고 양자컴퓨터가 아무 문제도 아니라는 뜻은 아닙니다. CISA, NSA, NIST는 2023년 8월 공동 팩트시트에서 공격자들이 지금 이 순간에도 암호화된 트래픽을 수집하고 있을 수 있으며, 이는 훗날 충분히 강력한 양자컴퓨터가 등장했을 때 복호화하려는 목적이라고 경고했습니다 — 이것이 바로 마이그레이션 시급성의 실제 근거인 "지금 수집해서 나중에 복호화하기(harvest now, decrypt later)" 위협입니다. 다만 그 작동 방식을 잘 보면: 예전 트래픽을 나중에 복호화할 수 있게 만드는 것은, 그 대칭 세션 키 자체가 (보통 TLS 안의 ECDH 같은) 비대칭 키 교환을 통해 전달되었다는 사실입니다. 공격자는 그 암호문과 함께 이 키 교환 과정을 기록해두었다가, 나중에 Shor 알고리즘으로 그 비대칭 교환을 소급해서 깨뜨릴 수 있습니다. 이 시나리오에서 무너지는 것은 AES 암호화 자체가 아니라, 그것을 감싸고 있던 키 전달 단계입니다. 애초에 어떤 네트워크로도 누구와도 키를 교환한 적 없는 파일은 이 특정 공격 경로에 노출되지 않습니다 — 암호문 옆에 수집해갈 비대칭 핸드셰이크 자체가 없기 때문입니다.

NearSeal의 두 형식은 이 그림에서 어디에 있는가

NearSeal의 기본 형식은 입력한 패스프레이즈와 파일에 저장된 무작위 솔트만으로 PBKDF2-SHA256을 거쳐 AES-256-GCM 키를 직접 유도합니다 — 그 외에는 아무것도 관여하지 않습니다. 옵션인 age-encryption.org 형식도 구조적으로 동일합니다. 패스프레이즈로부터 scrypt를 거쳐 ChaCha20-Poly1305 키를 유도하며, NearSeal은 age의 패스프레이즈 모드(setPassphrase() / addPassphrase() API)만 호출할 뿐, 별도로 존재하는 age의 공개키 수신자 모드는 전혀 사용하지 않습니다. 즉 두 형식 모두 비대칭 키 자체가 아예 개입하지 않습니다. 두 경우 모두 그 키는 누구와도 교환된 적이 없고, TLS 세션 키처럼 네트워크로 전송된 적도 없습니다 — 그러니 "지금 수집해서 나중에 복호화하기" 시나리오가 말하는 방식으로 미래의 양자컴퓨터가 깨뜨릴 비대칭 핸드셰이크가 애초에 암호문 옆에 존재하지 않습니다. 이건 NearSeal이 의도적으로 넣은 "양자 대비" 기능이 아니라, 애초에 키 교환이라는 단계 자체가 없는 클라이언트 측 패스프레이즈 전용 도구라는 구조에서 자연스럽게 따라오는 결과입니다. 별개로, AES-256-GCM과 ChaCha20-Poly1305 둘 다 NIST 자체 지침이 현재 예측 가능한 미래 동안 Grover 알고리즘으로부터 안전하다고 보는 바로 그 종류의 대칭 암호이기도 합니다.

정직한 결론

양자컴퓨터는 실재하고, 자금이 투입되고 있으며, 활발히 표준화가 진행 중인 위협입니다 — 다만 HTTPS, 이메일, 코드 서명 아래에서 눈에 띄지 않게 돌아가는 키 교환과 서명이라는, 대부분의 사람이 직접 마주치지 않는 특정 암호화 계열에 한해서입니다. NIST 자체의 공식 입장과 그 근거가 되는 수학에 따르면, 현재로서는 AES나 ChaCha20이 어떤 표준 키 크기를 쓰든 — NearSeal 같은 패스프레이즈 기반 파일 암호화 도구가 쓰는 크기를 포함해서 — 위협받고 있지 않습니다. NIST는 문을 영원히 닫아걸지 않고 열어두었습니다 — 대칭 알고리즘에 대한 전환 필요성이 예측되면 새로운 지침을 내겠다고 분명히 밝히고 있습니다. 다만 오늘 시점에서 그런 필요성은 예측되지 않았습니다. "양자 대비"가 파일을 암호화할 때 실제로 필요한 요건인지, 아니면 의심해볼 만한 검색어인지 판단하기 전에 알아둘 만한 사실입니다.