책책책 (11) 썸네일형 리스트형 [대규모 시스템 설계 기초] 6장. 키-값 저장소 설계 문제 이해 및 설계 범위 확정 키-값 쌍의 크기는 10KB 이하 큰 데이터를 저장할 수 있어야 함 높은 가용성을 제공해야 함. 따라서 시스템은 설사 장애가 있더라도 빨리 응답해야 함 높은 규모 확장성을 제공해야 함. 따라서 트래픽 양에 따라 자동적으로 서버 증설/삭제가 이루어져야 함 데이터 일관성 수준은 조정이 가능해야 함 응답 지연시간(latency)이 짧아야 함 단일 서버 키-값 저장소 가장 직관적인 방법은 키-값 쌍 전부를 메모리에 해시 테이블로 저장하는 것 빠른 속도를 보장하긴 하지만 모든 데이터를 메모리 안에 두는 것이 불가능 할 수도 있다는 약점 개선책 데이터 압축(compression) 자주 쓰이는 데이터만 메모리에 두고 나머지는 디스크에 저장 분산 키-값 저장소 분산 해시 테이블 키-값 쌍.. [대규모 시스템 설계 기초] 5장. 안정 해시 설계 수평적 규모 확장을 달성하기 위해 사용하는 기술 해시 키 재배치(rehash) 문제 N개의 캐시 서버 부하를 균등하게 나누는 보편적 방법은 serverIndex = hash(key) % N (N은 서버 개수) 해시 함수를 쓰는 것 서버 풀의 크기가 고정되어 있을 떄, 데이터 분포가 균등할 때는 잘 동작 하지만 서버가 추가되거나 기존 서버가 삭제되면 문제가 생김 안정 해시는 이 문제를 효과적으로 해결하는 기술 안정 해시 안정 해시는 해시 테이블 크기가 조정될 때 평균적으로 오직 k/n 개의 키만 재배치하는 해시 기술 k는 키의 개수, n은 슬롯(slot)의 개수 대부분 전통적 해시 테이블은 슬롯의 수가 바뀌면 거의 대부분의 키를 재배치했었음 해시 공간과 해시 링 해시 함수 f로는 SHA-1를 사용한다고 가.. [대규모 시스템 설계 기초] 4장. 처리율 제한 장치의 설계 네트워크 시스템에서 처리율 제한 장치(rate limiter)는 클라이언트 또는 서비스가 보내는 트래픽의 처리율(rate)을 제러하기 위한 장치 HTTP를 예로 들면 이 장치는 특정 기간 내 전송되는 클라이언트의 요청 횟수를 제한 API 요청 횟수가 제한 장치에 정의된 임계치를 넘어서면 추가로 도달한 모든 요청은 처리가 중단(block)됨 사용자는 초당 2회 이상 새 글을 올릴 수 없음 같은 IP 주소로는 하루에 10개 이상의 계정을 생성할 수 없음 같은 디바이스로는 주당 5회 이상 리워드를 요청할 수 없음 API에 처리율 제한 장치를 둘 때 좋은 점 DDoS(Denial of Service) 공격에 의한 자원고갈 방지 대형 IT 기업들이 공개한 거의 대부분 API 들은 어떤 형태로든 처리율 제한 장치를.. [대규모 시스템 설계 기초] 3장. 시스템 설계 면접 공략법 1단계 문제 이해 및 설계 범위 확정 요구사항을 완전히 이해하고 답을 해야한다. 깊이 생각하고 질문하여 요구사항과 가정들을 분명히해야한다. 엔지니어가 가져야 할 가장 중요한 기술 중 하나는 올바른 질문을 하는 것, 적절한 가정을 하는 것, 시스템 구축에 필요한 정보를 모으는 것 요구사항을 파악하기 위한 질문 구체적으로 어떤 기능들을 만들어야 하나? 제품 사용자 수는 얼마나 되나? 회사의 규모는 얼마나 빨리 커지리라 예상하나? 석 달, 여섯 달, 일년 뒤의 규모는 얼마가 되리라 예상하는가? 회사가 주로 사용하는 기술 스택은 무엇인가? 설계를 단순화하기 위해 활용할 수 있는 기존 서비스로는 어떤 것들이 있는가? 2단계 개략적인 설계안 제시 및 동의 구하기 개략적인 설계안을 제시하고 동의를 얻는 것 설계안에 .. [대규모 시스템 설계 기초] 2장. 개략적인 규모 추정 Use Back-Of-Envelope-Calculations To Choose The Best Design 참고 문헌 메모리는 빠르지만 디스크는 아직도 느리다 디스크 탐색(seek)은 가능한 한 피하라 단순한 압축 알고리즘은 빠르다 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라 데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고 받는 데는 시간이 걸린다 가용성에 관계된 수치들 고가용성(high availability) 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력 퍼센트%로 표현 100%는 시스템이 단 한 번도 중단된 적이 없었음을 의미 대부분의 서비스는 99%에서 100% 사이의 값을 가짐 SLA(Service Level Agrement) 서비스 사업자.. [대규모 시스템 설계 기초] 1장. 사용자 수에 따른 규모 확장성 단일 서버 모든 컴포넌트가 단 한대의 서버에서 실행 웹 앱, DB, 캐시 등이 전부 서버 한 대에서 실행됨 사용자 요청 처리 흐름 사용자가 도메인을 이용해 웹 사이트에 접속하면 IP 주소로 변환을 위해 DNS로 질의 DNS 조회 결과로 반환된 IP 주소로 HTTP 요청이 전달됨 요청을 받은 웹 서버는 HTML 혹은 JSON 형태의 응답 반환 요청은 웹 앱과 모바일 앱 두가지 종류의 단말로부터 온다. 데이터베이스 사용자가 늘어나면 단일 서버로는 충분하지 않아 여러 서버를 두어야 함 웹/모바일 트래픽 처리 서버와 데이터베이스 서버를 분리 어떤 데이터베이스를 사용할 것인가? 관계형 데이터베이스 RDBS(Relational Database Management System) ex) MySQL, 오라클 데이터베이스.. [Clean Code] 3장 - 함수 작게 만들어라! 함수가 작을 수록 그 하는 일이 명백해진다. public static String renderPageWithSetupsAndTeardowns( PageData pageData, boolean isSuite) throws Exception { if (isTestPage(pageData)) includeSetupAndTeardownPages(pageData, isSuite); return pageData.getHtml(); } 되도록 위 예시만큼 짧아야 한다. 블록과 들여쓰기 if/else, while문 등에 들어가는 블록은 한 줄이어야 한다. 대개 여기서 함수를 호출한다. 각 함수 별 들여쓰기 수준은 2단을 넘어서지 않아야 한다. 한 가지만 해라! 함수는 한 가지를 해야 한다. 그 한가지를.. [Clean Code] 2장 - 의미 있는 이름 의도를 분명히 밝혀라 좋은 이름을 지으려면 시간이 걸리지만, 좋은 이름으로 절약하는 시간이 훨씬 더 많다. 의도가 들어나는 이름은 코드 이해화 변경이 쉬워진다. 변수, 함수, 클래스 이름은 다음과 같은 질문에 답할 수 있어야 한다. 존재의 이유는? 수행 기능은? 사용 방법은? 따로 주석이 필요하면 의도를 분명히 드러내지 못했다는 말이다. Example // Bad public List getThem() { List list1 = new ArrayList(); for (int[] x : theList) { if (x[0] == 4) { list1.add(x); } } return list1; } 위의 예시는 함축성이 부족하다. 코드 맥락이 코드 자체에 명시적으로 드러나지 않는다. // Good public.. 이전 1 2 다음
