Scaling Law Scaling law is one of the most important findings in LLMs (and neural networks in general) 1. You can make almost all important decisions about training of models with scaling law. For example you can choose model size, number of training steps 2, hyperparameters such as learning rate and batch size 3, learning rate schedules 4, mixture of training datasets 5, etc. So if you are serious about …

In the field of large language models, the most important recipes to cook the model is not opened to publics. Model architecture itself is quite well-known because many state-of-the-art models are now open weights, and in many cases we find it is a boringly simple vanilla transformers. But for datasets and training objectives it is not well known, and many LLM builders deliberately obfuscates the details of these two. And, …

Helpful & Harmless Agent AI 모델의 정렬(Alignment)이라고 이야기할 때 흔히 나오는 Helpfulness와 Harmlessness는 어떤 의미인가? 이는 정의 …

이미지 생성 하면 Style GAN이었던 시절에도 일러스트 생성 등은 오타쿠적 인기가 있는 주제였다. 문제의 Danbooru 데이터셋 같은 경우에도 그 시점에 이미 만들어진 데이터셋이었 …

https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web LM을 다음 단어를 예측할 뿐이라거나 학습 데이터를 기억할 뿐이라는 식으로 묘사하는 것은 폄하를 위한 언어이지 LM의 실체나 실제 한계에 대해서 논하기에 적절한 방 …

타이틀 커버 이미지 출처: https://www.behance.net/gallery/6146939/OCR-A-Poster/modules/152114859 4년 동안 몰두했던 OCR이라는 주제를 마무리하게 되면서 으레 그래왔듯 회고를 남겨본다. 이랬더라면 어땠을까 같은 소소한 소회보다는 …

텔 아비브에서의 마지막 날. 호텔과 주변 거리에 약간 정이 들어서인지 사진을 좀 더 남겨놓고 싶었다. 벤 구리온 공항으로 향하는 중 택시에서. 이스라엘은 입국보다 출국이 어렵다는 말이 있던데 실제로 그렇긴 했다. …

학회 마지막 날. 또 샥슈카를 열심히 챙김. 좀 이상한 타이밍에 타서 학회장 가는 버스에 혼자 탑승. Neural Strands: Learning Hair Geometry and Appearance from Multi-View Images. …

카푸치노와 함께한 아침. 전혀 안 어울리는 조합이지만 샥슈카가 꽂혀서 이런 괴상한 짓도 해봤다. 이 날은 비가 왔다. 많이 내리지는 않을까 싶었는데 잠깐 내리다가 그쳤다. 3D-Aware Indoor Scene Synthesis with Depth …

본격적인 학회의 시작. 학회는 텔 아비브 엑스포에서 진행됐다. 엑스포 건물 앞에는 이렇게 널부러져(?) 있을 수 있는 공간이 있었는데 텔 아비비의 햇볕은 사실 파라솔 하나 정도로는 버티기 어려운 감이 좀 있었다. 각도가 딱 맞으면 모를까. …