paper : https://arxiv.org/pdf/2305.16556github : https://github.com/google-research/lanistr Google Cloud AI 기존의 멀티모달 학습 연구는 주로 이미지, 텍스트, 오디오와 같은 비구조화(unstructured) 데이터에 집중되어 왔으며, 이 분야에서 상당한 성과를 이루어냈다.그러나 구조화(structured) 데이터, 예를 들어 테이블 형태의 수치 정보나 시계열 데이터와 같은 형식의 데이터는 상대적으로 연구의 관심을 덜 받아온 영역이다.이는 다소 아이러니한데, 실제 현실 세계에서는 구조화된 데이터가 가장 흔하게 존재하는 데이터 유형이기 때문이다.예를 들어, 의료 분야의 진단 예측에서는 환자의 수치 기반 임상 정보(구조화 데..

paper : https://arxiv.org/abs/2207.05833github : https://github.com/amazon-science/earth-forecasting-transformer Hong Kong University of Science and Technology & Amazon Web Services (AWS) 전통적으로 기상과 기후와 같은 지구 시스템의 예측은 복잡한 물리 기반 수치 시뮬레이션에 의존해 왔으며, 이러한 방식은 막대한 계산 자원을 필요로 하고, 동시에 높은 수준의 도메인 전문성을 요구한다.하지만 최근에는 위성 관측을 포함한 다양한 센서 기술이 발전하면서, 방대한 양의 시공간 데이터가 축적되고 있고, 이를 바탕으로 한, 딥러닝을 활용한 데이터 기반 예측 모델이 여..

paper : https://arxiv.org/abs/2306.01112github : https://github.com/gitbooo/CrossViVit 태양 에너지는 탄소 배출을 줄여 기후 변화에 대응하는 데 중요한 역할을 하는 대표적인 재생 가능 에너지다. 그러나 수평면 태양복사량(Global Horizontal Irradiance, GHI)*은 구름의 양이나 기상 조건 등에 따라 변동성이 크기 때문에, 태양광 발전을 전력망에 안정적으로 통합하는 데 어려움이 따른다.기존의 태양복사량 예측 연구들은 주로 단순한 시계열 데이터를 기반으로 미래 값을 추정해 왔지만, 이러한 방법은 주변의 구름 분포나 기상 상황과 같은 공간적 맥락을 충분히 반영하지 못해 예측 정확도에 한계가 있다.태양복사량 예측의 정확도를..

(PyTorch) koGPT2 ChatBot 참고 : https://wikidocs.net/158023 9-3. koGPT2 ChatBot 프로그래밍에 사용된 패키지들의 버전은 다음과 같다. * huggingface-hub 0.2.1 pypi_0 pypi *… wikidocs.net "PyTorch 딥러닝 챗봇" wikidocs의 koGPT2 챗봇 만들기 page를 따라해보며 공부한 내용을 정리해보았다. KoGPT2란? 참고 : https://github.com/SKT-AI/KoGPT2 GitHub - SKT-AI/KoGPT2: Korean GPT-2 pretrained cased (KoGPT2) Korean GPT-2 pretrained cased (KoGPT2). Contribute to SKT-AI..

(PyTorch) Text Generation 참고 : https://tutorials.pytorch.kr/beginner/translation_transformer.html?highlight=de_core_news_sm nn.Transformer 와 torchtext로 언어 번역하기 이 튜토리얼에서는,,- Transformer(트랜스포머)를 사용한 번역 모델을 바닥부터 학습하는 방법을 배워보겠습니다., Multi30k 데이터셋을 사용하여 독일어(German)를 영어(English)로 번역하는 모델을 학습 tutorials.pytorch.kr 해당 tutorial을 진행하면서 공부한 내용을 정리해보았다. tutorial의 목표는 독일어(German)를 영어(English)로 번역하는 모델을 학습시키는 것..