로드 밸런서 사용 시의 이슈 중 세션 관리 문제 로드 밸런서에 의해 이전 요청과 현 요청에 분배되는 서버가 다를 경우 세션 관리 일관성에 문제가 발생한다. 로드 밸런서 세션 관리 문제의 예시 1) 먼저 로그인 요청을 A서버로 보낸다. A서버의 세션에는 martin이라는 값이 저장되고 A서버에서는 로그인 성공이라는 응답을 보낸다. 2...
1) 로드 밸런싱(Load Balancing) 부하 분산을 위해 가상 IP를 통해 각 서버에 Request를 분배하는 기능 LoadBalancer 2) Scale Up, Scale Out 서버의 부하를 체크하여 서버를 늘리거나 성능을 향상 시키는 방식 스케일 업(Scale Up): 서버에 CPU나 RAM 등을 추가하여 서버의 하드...
LLM 기반 인터뷰 기능을 개발하면서 질문에 대한 사용자 답변이 지정된 평가 기준들에 부합하는지를 LLM 을 통해 피드백 받는 로직을 구현하면서 LLM 응답을 단순 텍스트 파싱처리외에 좀 더 안전하게 처리할 수 있는 방법이 없을까 고민하다 Structured Outputs(구조화된 출력)에 대해 알게 되었다. 또한 이전까지 제품에서의 대부분은 LLM...
[Backend] Debugging(디버깅)
[Backend] Refactoring(리팩토링)