IBM AI Engineering PC 🔗 https://www.coursera.org/professional-certificates/ai-engineer Machine Learning with Python 🔗 https://www.coursera.org/learn/machine-learning-with-python/ IBM Professional Certificate(PC) 란?IBM AI Engineering PCIBM Data Science PC IBM AI Engineering PC여기서 IBM AI Engineering PC란?데이터 과학자, 머신러닝 엔지니어, 소프트웨어 엔지니어를 위한 AI 기술 교육Python, SciPy, Keras, PyTorch, TensorFlow를 활용해 모..

이미지에 대한 URL이 JSON에 포함되어 있을 때, 멀티모달 모델을 훈련시키기 위해서는 JSON 데이터와 해당 이미지를 함께 학습에 사용할 수 있어야 한다.따라서 JSON 내의 이미지 URL을 활용해 실제 이미지를 다운로드하는 작업이 필요하다.사용한 데이터셋은 Amazon Review Data이다.(https://cseweb.ucsd.edu/~jmcauley/datasets/amazon_v2/) 해당 데이터셋의 리뷰 포맷은 아래와 같다.{ "image": ["https://images-na.ssl-images-amazon.com/images/I/71eG75FTJJL._SY88.jpg"], "overall": 5.0, "vote": "2", "verified": True, "reviewTime": "01..

paper : https://arxiv.org/abs/2207.07027github : https://github.com/nyuad-cai/MedFuse NYU Abu Dhabi 의료 도메인에서는 환자의 다양한 형태의 데이터(모달리티)를 활용해 더 정밀한 예측을 수행하는 것이 중요한 과제로 여겨진다. 예를 들어, 중환자실(ICU)에서는 환자의 연속적인 생체징후나 검사 결과와 같은 임상 시계열 데이터, 그리고 흉부 X-ray 영상처럼 이미지 데이터가 각각 따로 수집되고, 이러한 데이터를 통합해 분석하면 환자의 상태를 더 정확히 파악할 수 있을 것으로 기대 할 수 있다. 하지만 자연영상이나 음성처럼 일반적인 다중모달 데이터와 달리, 의료 데이터는 모달리티마다 수집 시점이 다르거나 아예 누락되는 경우가 많다..

paper : https://openreview.net/pdf?id=Gh67ZZ6zkSgithub : https://github.com/gaozhihan/PreDiff Amazon Web Services (AWS), Boson AI, Hong Kong University of Science and Technology 해당 논문에서는 딥러닝 기반 초단기 강수 예측에서 불확실성과 물리 법칙에 부합하는 예측을 동시에 다루려고 시도하였다.기존 기상 예측은 물리 방정식을 푸는 수치 모델에 의존했지만, 계산 비용이 크고 전문 지식이 필요하다.또한 최근엔 레이더·위성 기반의 관측 데이터가 폭발적으로 늘어나면서, 딥러닝 기반 예측 모델이 등장해 일부 수치 모델을 능가하기도 하지만,기존 딥러닝 모델은 불확실성을 잘 ..

paper : https://arxiv.org/abs/2207.05833github : https://github.com/amazon-science/earth-forecasting-transformer Hong Kong University of Science and Technology & Amazon Web Services (AWS) 전통적으로 기상과 기후와 같은 지구 시스템의 예측은 복잡한 물리 기반 수치 시뮬레이션에 의존해 왔으며, 이러한 방식은 막대한 계산 자원을 필요로 하고, 동시에 높은 수준의 도메인 전문성을 요구한다.하지만 최근에는 위성 관측을 포함한 다양한 센서 기술이 발전하면서, 방대한 양의 시공간 데이터가 축적되고 있고, 이를 바탕으로 한, 딥러닝을 활용한 데이터 기반 예측 모델이 여..

paper : https://arxiv.org/abs/2306.01112github : https://github.com/gitbooo/CrossViVit 태양 에너지는 탄소 배출을 줄여 기후 변화에 대응하는 데 중요한 역할을 하는 대표적인 재생 가능 에너지다. 그러나 수평면 태양복사량(Global Horizontal Irradiance, GHI)*은 구름의 양이나 기상 조건 등에 따라 변동성이 크기 때문에, 태양광 발전을 전력망에 안정적으로 통합하는 데 어려움이 따른다.기존의 태양복사량 예측 연구들은 주로 단순한 시계열 데이터를 기반으로 미래 값을 추정해 왔지만, 이러한 방법은 주변의 구름 분포나 기상 상황과 같은 공간적 맥락을 충분히 반영하지 못해 예측 정확도에 한계가 있다.태양복사량 예측의 정확도를..

Simpson’s Paradox - 통계의 거짓말 데이터 분석에 있어서, 숫자가 항상 진실을 말하는 것은 아니다.이러한 현상을 대표적으로 보여주는 것이 심슨의 역설(Simpson’s Paradox)이다. 이는 전체 데이터를 봤을 때 나타나는 경향이 세부 그룹을 분석하면 반대로 나타나게 되는 현상으로,1951년 에드워드 심슨(Edward H. Simpson)이 논문 "The Interpretation of Interaction in Contingency Tables"에서 처음 설명했다.이 역설은 데이터를 해석할 때 단순한 집계 수치에 의존하지 않고, 하위 그룹 분석을 수행하여 정확한 의사 결정을 도출하는 것이 중요하다는 것을 말해준다.  Simpson’s Paradox?예시 1. 신장결석 치료법에 관한 의..

엔비디아 주가 폭락을 겪으며, DeepSeek가 뭐하는 놈이길래 날 이렇게 아프게 하나 싶어 간단하게 공부한 내용 정리DeepSeek에 대한 많은 논란은 제외 paper : https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-R1 : Nvidia 주가 폭락의 원인임시공휴일로 지정되었다고, 신난 직장인에게, 1월 27일은 꽤나 충격적인 하루 였다. Nvidia의 주가가 17% 하락했다. 그리고 그 중심에는 DeepSeek-R1이라는 오픈소스 AI 모델이 존재했다. DeepSe..

Bellman equation (벨만 방정식)벨만 방정식은 Richard E. Bellman의 이름을 딴 것으로, 동적 프로그래밍(Dynamic Programming)이라는 수학적 최적화 방법과 관련된 최적성을 위한 필요조건을 의미한다. (동적 프로그래밍의 핵심 아이디어인 최적성 원리를 수학적으로 표현한 것)  동적 프로그래밍(Dynamic Programming) 의 핵심 아이디어1. 최적성의 원리(principle of optimality) : "최적 경로의 부분 경로 또한 최적 경로이다"라는 것을 의미2. 순환식(recursive equation) : 최적성의 원리를 수학적으로 표현한 것으로, 문제를 더 작은 하위 문제로 분할하고, 각 하위 문제의 해를 이용하여 원래 문제의 해를 구하는 방식을 나타냄..

강화학습을 적용하기 위해서는 MDP 문제로 정의하는 것이 필요하다고 했는데, 그래서 MDP가 뭔데?Markov property을 기반으로 하는 확률 모델1. Markov Process (MP, 마르코프 과정)* Markov Chain : 2023.07.14 - [🤖 ai/deep learning] - 베이즈 정리(Bayes’ theorem) & 마르코프 모델(Markov Models)시간에 따라 확률적으로 변화하는 시스템을 모델링. 미래 상태는 현재 상태에만 의존하고 과거 상태에는 영향을 받지 않는다.S, P로 구성상태 집합 (State space, S): 시스템이 가질 수 있는 모든 가능한 상태들의 집합상태 전이 확률 행렬 (Transition probability matrix, P): 현재 상태에서..