평소에 관심있던 주제에 대해 다루고 있던 Medium의 'Multimodal Deep Learning for Time Series Forecasting Classification and Analysis'라는 article을 간단하게 정리했다.자세한 내용은 아래 link를 참고바란다. reference : https://medium.com/deep-data-science/multimodal-deep-learning-for-time-series-forecasting-classification-and-analysis-8033c1e1e772 Multimodal Deep Learning for Time Series Forecasting, Classification, and AnalysisThe Future of ..

paper : https://arxiv.org/pdf/2305.16556github : https://github.com/google-research/lanistr Google Cloud AI 기존의 멀티모달 학습 연구는 주로 이미지, 텍스트, 오디오와 같은 비구조화(unstructured) 데이터에 집중되어 왔으며, 이 분야에서 상당한 성과를 이루어냈다.그러나 구조화(structured) 데이터, 예를 들어 테이블 형태의 수치 정보나 시계열 데이터와 같은 형식의 데이터는 상대적으로 연구의 관심을 덜 받아온 영역이다.이는 다소 아이러니한데, 실제 현실 세계에서는 구조화된 데이터가 가장 흔하게 존재하는 데이터 유형이기 때문이다.예를 들어, 의료 분야의 진단 예측에서는 환자의 수치 기반 임상 정보(구조화 데..

paper : https://arxiv.org/abs/2207.07027github : https://github.com/nyuad-cai/MedFuse NYU Abu Dhabi 의료 도메인에서는 환자의 다양한 형태의 데이터(모달리티)를 활용해 더 정밀한 예측을 수행하는 것이 중요한 과제로 여겨진다. 예를 들어, 중환자실(ICU)에서는 환자의 연속적인 생체징후나 검사 결과와 같은 임상 시계열 데이터, 그리고 흉부 X-ray 영상처럼 이미지 데이터가 각각 따로 수집되고, 이러한 데이터를 통합해 분석하면 환자의 상태를 더 정확히 파악할 수 있을 것으로 기대 할 수 있다. 하지만 자연영상이나 음성처럼 일반적인 다중모달 데이터와 달리, 의료 데이터는 모달리티마다 수집 시점이 다르거나 아예 누락되는 경우가 많다..

paper : https://openreview.net/pdf?id=Gh67ZZ6zkSgithub : https://github.com/gaozhihan/PreDiff Amazon Web Services (AWS), Boson AI, Hong Kong University of Science and Technology 해당 논문에서는 딥러닝 기반 초단기 강수 예측에서 불확실성과 물리 법칙에 부합하는 예측을 동시에 다루려고 시도하였다.기존 기상 예측은 물리 방정식을 푸는 수치 모델에 의존했지만, 계산 비용이 크고 전문 지식이 필요하다.또한 최근엔 레이더·위성 기반의 관측 데이터가 폭발적으로 늘어나면서, 딥러닝 기반 예측 모델이 등장해 일부 수치 모델을 능가하기도 하지만,기존 딥러닝 모델은 불확실성을 잘 ..

paper : https://arxiv.org/abs/2306.01112github : https://github.com/gitbooo/CrossViVit 태양 에너지는 탄소 배출을 줄여 기후 변화에 대응하는 데 중요한 역할을 하는 대표적인 재생 가능 에너지다. 그러나 수평면 태양복사량(Global Horizontal Irradiance, GHI)*은 구름의 양이나 기상 조건 등에 따라 변동성이 크기 때문에, 태양광 발전을 전력망에 안정적으로 통합하는 데 어려움이 따른다.기존의 태양복사량 예측 연구들은 주로 단순한 시계열 데이터를 기반으로 미래 값을 추정해 왔지만, 이러한 방법은 주변의 구름 분포나 기상 상황과 같은 공간적 맥락을 충분히 반영하지 못해 예측 정확도에 한계가 있다.태양복사량 예측의 정확도를..