평소에 관심있던 주제에 대해 다루고 있던 Medium의 'Multimodal Deep Learning for Time Series Forecasting Classification and Analysis'라는 article을 간단하게 정리했다.자세한 내용은 아래 link를 참고바란다. reference : https://medium.com/deep-data-science/multimodal-deep-learning-for-time-series-forecasting-classification-and-analysis-8033c1e1e772 Multimodal Deep Learning for Time Series Forecasting, Classification, and AnalysisThe Future of ..

paper : https://arxiv.org/pdf/2305.16556github : https://github.com/google-research/lanistr Google Cloud AI 기존의 멀티모달 학습 연구는 주로 이미지, 텍스트, 오디오와 같은 비구조화(unstructured) 데이터에 집중되어 왔으며, 이 분야에서 상당한 성과를 이루어냈다.그러나 구조화(structured) 데이터, 예를 들어 테이블 형태의 수치 정보나 시계열 데이터와 같은 형식의 데이터는 상대적으로 연구의 관심을 덜 받아온 영역이다.이는 다소 아이러니한데, 실제 현실 세계에서는 구조화된 데이터가 가장 흔하게 존재하는 데이터 유형이기 때문이다.예를 들어, 의료 분야의 진단 예측에서는 환자의 수치 기반 임상 정보(구조화 데..

paper : https://arxiv.org/abs/2207.07027github : https://github.com/nyuad-cai/MedFuse NYU Abu Dhabi 의료 도메인에서는 환자의 다양한 형태의 데이터(모달리티)를 활용해 더 정밀한 예측을 수행하는 것이 중요한 과제로 여겨진다. 예를 들어, 중환자실(ICU)에서는 환자의 연속적인 생체징후나 검사 결과와 같은 임상 시계열 데이터, 그리고 흉부 X-ray 영상처럼 이미지 데이터가 각각 따로 수집되고, 이러한 데이터를 통합해 분석하면 환자의 상태를 더 정확히 파악할 수 있을 것으로 기대 할 수 있다. 하지만 자연영상이나 음성처럼 일반적인 다중모달 데이터와 달리, 의료 데이터는 모달리티마다 수집 시점이 다르거나 아예 누락되는 경우가 많다..