Generative AI आणि LLMs
ChatGPT, Claude — कसे काम करतात?
Generative AI म्हणजे नवीन content create करणारी AI — text, images, code, audio, video. ChatGPT, Claude, Gemini, DALL-E, GitHub Copilot — हे सगळे Generative AI आहेत. 2023 पासून हे field exponentially grow होत आहे.
LLM म्हणजे काय?
Large Language Model (LLM) म्हणजे internet वरील अब्जावधी text documents वर train केलेले massive neural network. Billions of parameters असतात. Human language समजते, generate करते, reason करते.
LLM Training Overview
Phase 1: Pre-training
- Billions of web pages, books, code → text
- Next word predict करायला शिकतो
- "The cat sat on the ___" → "mat"
- Terabytes of data, months of GPU training
- GPT-4: ~1 trillion parameters estimated
Phase 2: Fine-tuning (RLHF)
- Human feedback: "हे answer चांगलं, हे वाईट"
- Reinforcement Learning from Human Feedback
- Helpful, Harmless, Honest बनवतो
Phase 3: Deployment
- API म्हणून serve करा → $0.01 per 1K tokensTransformer Architecture
"Attention is All You Need" (2017 Google paper) — या paper ने AI revolutionize केली. Transformer architecture LLMs चा foundation आहे. Self-attention mechanism: sentence मधला प्रत्येक word दुसऱ्या words शी कसा relate होतो ते समजतो.
Popular LLMs
- ▸GPT-4o (OpenAI) — ChatGPT मागे, multi-modal (text + images + audio)
- ▸Claude (Anthropic) — large context window, safe AI focus
- ▸Gemini (Google) — Google products integration
- ▸Llama 3 (Meta) — open source, locally run करता येतो
- ▸Mistral — efficient open source models
- ▸Phi-3 (Microsoft) — small but powerful models
Image Generation
- ▸DALL-E 3 (OpenAI) — text prompt → realistic images
- ▸Midjourney — artistic, high quality images
- ▸Stable Diffusion — open source, locally run
- ▸Adobe Firefly — creative tools integration
Tokens म्हणजे LLMs साठी text चे units. "Hello, how are you?" ≈ 5 tokens. Context window = एकाच conversation मध्ये किती tokens process करता येतात. Claude 3.5 Sonnet: 200K tokens (≈ 150K words!).
✅ Key Points — लक्षात ठेवा
- ▸LLM: billions of parameters, internet text वर pre-trained
- ▸Transformer: self-attention mechanism — LLMs चा heart
- ▸RLHF: human feedback ने helpful/harmless बनवतो
- ▸Token: LLM साठी text unit (~4 characters)
- ▸Context window: एका conversation मध्ये किती text