개발/데이터 과학

시계열 데이터 분해를 통한 예측

현재 재직 중인 회사(이 글은 2021년 11월에 작성되었음)는 상당한 트랜잭션이 발생되고 있고, 따라서 트래픽의 양에 따라 서버를 scaling하는 작업이 중요하다. 트래픽이 적을 때는 서버 규모를 축소하고, 많을 때만 잠깐 확장하는 것은 비용 효율적으로 서버를 운영하는 데 있어서 중요하다. 서버 개발자가 오토 스케일링에 관심을 가지게 되면 초기에는 단순한 조건 충족에 따른 스케일링이 되는데(cold starting), 거기서 더 발전하면 트래픽량을 예측하여 warm starting을 할 수 있다. 따라서 트래픽량이 중요한 기업들은 트래픽량을 예측하는 데에 관심이 많다. 데이터 사이언스 분야에서는 트래픽 예측 태스크를 Time Series Forecasting 문제의 한 축으로 보고 많은 연구를 진행 ..

딥러닝에서 for문은 최대한 피해야..

[논문] Deep Kinematics Analysis for Monocular 3D Human Pose Estimation 논문의 큰 틀을 차용하면서, 세부적인 것들은 내 맘대로 바꿔보며 3D Pose Estimation 모델을 개발하고 학습해봤다. 근데 이게 영, 어지간히 오래 걸리는 게 아니다. 한 라인마다 time.time()을 찍어가며 테스트를 해봤는데, composition — decomposition 과정이 되게 오래 걸렸다. sk_sidx = torch.tensor([0, 1, 2, 3, 1, 5, 6, 0, 8, 9, 0, 11, 12, 1]).cuda() sk_eidx = torch.tensor([1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12 ,13, 14]).cud..