나는 기존에 webConfig에서 설정하여 정적 리소스를 직접 가져오게 하였다가 S3 스토리지(NCP Object 스토리지로) 변경작업을 해야했기에 파일 다운로드형식의 api로 변경하였음. 변경한 소스는 아래와 같다.
// ETag와 Last-Modified 값 가져오기
String eTag = s3Object.getObjectMetadata().getETag();
long lastModified = s3Object.getObjectMetadata().getLastModified().getTime();
return ResponseEntity.ok()
.contentType(MediaType.APPLICATION_OCTET_STREAM)
.header(HttpHeaders.CONTENT_DISPOSITION, "inline; filename=\"" + objectName + "\"")
.header(HttpHeaders.ETAG, eTag) // ETag 설정 (유지)
.lastModified(lastModified) // Last-Modified 설정 (유지)
.cacheControl(CacheControl.maxAge(30, TimeUnit.DAYS).cachePublic()) // Cache-Control 설정 (max-age 사용)
.body(new InputStreamResource(s3Object.getObjectContent()));
// max-age: 이 값이 설정되면 브라우저는 지정된 시간 동안 리소스를 캐시.
// no-store: 캐시되지 않도록 명령. 브라우저는 이 리소스를 캐시하지 않고, 매번 서버에서 새로 받아옴
// no-cache: 리소스를 캐시할 수 있지만, 사용하기 전에 항상 서버에 유효성 검사를 요청
// ETAG와 lastModified를 비교하여 결국 304를 반환하게 되어있음.
// maxAge를 30일로 하여 30일간은 200(from memory cache)로 API요청이 안올것 30일 뒤에는 요청이 들어오나 304반환을 통해 리소스재사용을 시킴
그냥 body에 담아서 보내면 200OK만 나옴.
cacheControl로 no-cache를 해주면 서버에 계속 요청을 우선적으로 요청을 날리게됨.
나는 maxAge 30일 해주었는데 그러면 30일동안은 브라우저에서 리소스를 캐시함. ( 200 OK (from memory cache) 라고 응답이 올거임)
200 OK (from memory cache) 란 API요창을 서버에 날리지를 않고 바로 브라우저 캐시에서 이미지를 가져옴.
만약 30일이 지난다면 요청이 날라갈테고 그러면 위에서 지정해준 lastModified와 eTag를 비교하여 그래도 변경되지 않는게 확인된다면 브라우저에 304응답코드를 보내줌.
304를 받은 브라우저는 다시 캐시를 활성화하여 캐시에서 이미지를 가져오고 다시 30일간 캐시에서 불러오도록 됨.
그렇게 무한반복.. 자세한건 아래 글 참고하시길
##중요
내가 200 from memory cache까지는 아니더라도 304를 응답받고싶다면 lastModified를 넣어서 응답해줄것
또는 eTag를 넣어줄것 또는 2개다 넣어줄것
어차피 의미없는게 나는 /api/files/{파일명} 여기서 파일명이 랜덤값이다 랜덤으로 업로드할때마다 겹치지않게 랜덤파일명으로 업로드하기때문에 애초에 파일이 변경되면 api요청 uri가 변경되기때문에 애초에 캐싱처리가 안됨.
그냥 304쓰던가 나처럼 maxAge까지 추가해서 200 (from memory cache)로 api요청까지 안날려져서 서버 부하 안가게 하던가 편하게 하심 될듯 자세한건 아래 글 참고하셈 자세히 나와있음
아래 글 참고
캐시 기본 동작
캐시가 없을 때
서버한테 star 이미지를 요청한다.
요청 결과로 1.1M 이미지를 받는다.
여기서 새로고침을 하거나 브라우저를 닫고 나중에 재요청을 한다면 똑같이 1.1M 이미지를 다시 받게 될 거다.
캐시가 없으면
- 데이터가 변경되지 않아도 계속 네트워크를 통해서 데이터를 다운 받는다. 인터넷 네트워크는 매우 느리고 비싸다
- 사용자는 브라우저 로딩 속도가 느린 걸 경험해야 한다.
캐시 적용
여기서 캐시를 적용하면 다음과 같이 변한다.
1. 서버로 데이터를 받아온다.
2. 브라우저 캐시에 데이터가 저장된다.
3. 같은 요청을 보낼 때 캐시의 데이터를 불러온다.
캐시의 장점
- 캐시에 저장된 데이터는 네트워크를 사용 안 해도 된다. (비싼 네트워크 사용량이 감소)
- 사용자는 브라우저 로딩 속도가 빠른 걸 경험한다.
캐시 시간 초과
캐시 유효 시간이 초과하면, 서버를 통해 데이터를 다시 조회하고, 캐시를 갱신한다. (네트워크 다운로드가 발생한다)
검증 헤더와 조건부 요청1
캐시 시간 초과
- 캐시 유효 시간이 초과해서 서버에 다시 요청하면 다음 두 가지 상황이 나타난다.
1. 서버에서 기존 데이터를 변경함 (이미지 색깔만 바뀜)
2. 서버에서 기존 데이터를 변경하지 않음. (이전 이미지와 동일함)
- 캐시 만료 후에도 서버에서 데이터를 변경하지 않음
- 이럴 경우 저장된 캐시를 재사용할 수 있다. 단, 클라이언트의 데이터와 서버의 데이터가 같다는 사실을 확인할 방법이 필요
검증 헤더 추가
1. 응답에 Last-Modified를 추가하여 데이터 최종 정보를 보낸다.
2. 캐시 시간 초과 후에 요청하면 해당 캐시에 있는 데이터 최종 정보를 같이 서버에 보낸다.
3. 서버에서 데이터 최종 정보를 비교하여 변함이 없으면 메시지 바디없이 304 Not Modified + 헤더 메타 정보만 응답한다.
4. 클라이언트는 해당 캐시의 유효 시간만 갱신하여 재사용한다.
정리
- 결과적으로 네트워크 다운로드가 발생하지만, 용량이 적은 헤더 정보만 다운로드한다.
- 매우 실용적인 해결책이다. (많은 곳에서 사용한다)
검증 헤더와 조건부 요청2
검증 헤더
- 캐시 데이터와 서버 데이터가 같은지 검증하는 데이터
- Last-Modified , ETag
조건부 요청 헤더
- 검증 헤더로 조건에 따른 분기
- If-Modified-Since: Last-Modified 사용
- If-None-Match: ETag 사용
- 조건이 만족하면 200 OK, 만족하지 않으면 304 Not Modified
예시
If-Modified-Since: 이후에 데이터가 수정되었으면?
1. 데이터 미변경 예시
캐시 : 2020년 11월 10일 10:00:00 vs 서버 : 2020년 11월 10일 10:00:00
-> 304 Not Modified, 헤더 데이터만 전송(Body 미포함)
-> 전송 용량은 헤더의 0.1M 뿐.
2. 데이터 변경 예시
캐시 : 2020년 11월 10일 10:00:00 vs 서버 : 2020년 11월 10일 11:00:00
-> 200 OK, 모든 데이터 전송(Body 포함)
-> 전송 용량 1.1M (헤더 0.1M, 바디 1.0M)
Last-Modified, If-Modified-Since 단점
- 1초 미만(0.x초) 단위로 캐시 조정이 불가능
- 날짜 기반의 로직 사용함
- 데이터를 수정해서 날짜가 다르지만, 같은 데이터를 수정해서 데이터 결과가 똑같은 경우
- 서버에서 별도의 캐시 로직을 관리하고 싶은 경우 ex)스페이스나 주석처럼 크게 영향이 없는 변경에서 캐시를 유지하고 싶은 경우
ETag, If-None-Match
- ETag (Entity Eag)
- 캐시용 데이터에 임의의 고유한 버전 이름을 달아둠 ex) ETag: "v1.0", ETag: "a2loop"
- 데이터가 변경되면 이 이름을 바꾸어서 변경함 (Hash를 다시 생성) ex) ETag: "aaaaa" -> ETag: "bbbbb"
- 진짜 단순하게 ETag만 비교해서 유지, 다시받기 구분함
이전에 봤던 스토리와 동일하다.
- *캐시 제어 로직을 서버에서 완전히 관리*
- 클라이언트는 단순히 이 값을 서버에 제공(클라이언트는 캐시 매커니즘을 모름)
ex) 서버는 배타 기간인 3일 동안 파일이 변경되어도 ETag를 동일하게 유지
-> 애플리케이션 배포 주기에 맞추어 ETag 모두 갱신
캐시와 조건부 요청 헤더
캐시 지시어(directives)
- Cache-Control: max-age
- 캐시 유효 시간, 초 단위
- Cache-Control: no-cache
- 데이터는 캐시해도 되지만, 항상 원(origin) 서버에 검증하고 사용
- Cache-Control: no-store
- 데이터에 민감한 정보가 있으므로 저장하면 안됨 (메모리에서 사용하고 최대한 빨리 삭제하라는 의미)
Pragma
캐시 제어(지금은 사용안함)
- HTTP 1.0 하위 호환
- Pragma: no-cache
Expires
캐시 만료일 지정(지금은 비권장)
- expries: Mon, 01 Jan 1990 00:00:00 GMT
- 캐시 만료일을 정확한 날짜로 지정
- HTTP 1.0 부터 사용
- 지금은 더 유연한 Cache-Control: max-age 권장함
* Expires와 Cache-Control 같이 사용되면 Expires는 무시됨
정리
검증 헤더 (Validator)
- ETag: "v1.0", ETag: "a2loop"
조건부 요청 헤더
- If-Match, If-None-Match: ETag 값 사용
- If-Modified-Since, If-Unmodified-Since: Last-Modified 값 사용
프록시 캐시
한국에서 해외 서버를 접속한다고 해보자.
이미지를 너무 응답이 느린 문제가 생긴다.
어떻게 해결할까?
프록시 캐시 서버 사용
한국에서 실제 서버가 있는 미국으로 요청을 보내지 않고, 한국 어딘가에 있는 프록시 캐시 서버로 요청을 보낸다.
쉽게 생각할 수 있는 예는 유튜브가 있다. 해외 영상을 이용하는데 응답이 빠르다.
캐시 지시어(directives) - 기타
- Cache-Control: public
- 응답이 public 캐시에 저장되어도 됨
- Cache-Control: private
- 응답이 해당 사용자만을 위한 것임, private 캐시에 저장해야 함(기본값)
- Cache-Control: s-maxage
- 프록시 캐시에만 적용되는 max-age
- Age: 60 (HTTP 헤더)
- 오리진 서버에서 응답 후 프록시 캐시 내에 머문 시간(초)
캐시 무효화
확실한 캐시 무효화 응답
- Cache-Control: no-cache, no-store, must-revalidate
- Pragma: no-cache (과거 브라우저에서 올 수도 있으니 넣어준다. HTTP 1.0 하위 호환)
캐시 지시어(directives)- 확실한 캐시 무효화 응답
- Cache-Control: no-cache
- 데이터는 캐시해도 되지만, 항상 원(origin) 서버에 검증하고 사용(이름에 주의!)
- 원 서버에 오류가 나도 프록시 캐시에 저장된 데이터를 보여준다.
no-cache 동작 원리
- Cache-Control: no-store
- 데이터에 민감한 정보가 있으므로 저장하면 안됨 (메모리에서 사용하고 최대한 빨리 삭제하라는 의미)
- Cache-Control: must-revalidate
- 캐시 만료 후 최초 조회시 원 서버에서 검증해야함
- 원 서버 접근 실패시 반드시 오류가 발생해야함 - 504 (Gateway Timeout)
- must-revalidate는 캐시 유효 시간이라면 캐시를 사용함
- Pragma: no-cache
- HTTP 1.0 하위 호환