250308 - 메모

TorchTune
- https://medium.com/chat-gpt-now-writes-all-my-articles/pytorch-is-making-fine-tuning-llms-easy-with-torchtune-code-examples-for-lora-and-qlora-included-8ad157d27e2e
- Native PyTorch
- Distributed Training - FSDP2
- tune download meta-llama/Llama-2-7b-hf 로 모델 다운 가능 (허깅페이스 모델 커버리지 확인 필요)
- lora도 가능 / 70b 모델도 지원하는지 봐야 함.
Pydantic controls LLM Output
- https://medium.com/@mattchinnock/controlling-large-language-model-output-with-pydantic-74b2af5e79d1
- Langchain을 이용해 추론 파싱 같이 해결
olmOCR
- https://discuss.pytorch.kr/t/olmocr-pdf-ocr-feat-allen-ai/6255
- pdf 문서를 구조에 맞게 잘 text로 추출함. 여전히 이모지나 아이콘에 대한 추출은 어떻게 해야할지 해결 필요.
- 페이지당 두번 추출하기? 1. 텍스트로 추출 2. 이모티콘에 대해서만 따로 추출해서 붙이기.