Add files via upload

This commit is contained in:
imletbruh
2026-05-31 18:24:39 +05:00
committed by GitHub
parent fcaa53b5ce
commit 9de1a40f1f
6 changed files with 1392 additions and 1227 deletions
+124 -178
View File
@@ -1,27 +1,41 @@
# 🚀 QIYANA AUTO-BUMP BOT для Lolz.live
Production-ready Telegram бот для автоматического поднятия тем на форуме Lolz.live с современной архитектурой, batch API и полной типизацией.
Telegram бот для автоматического поднятия тем на форуме Lolz.live. Batch API, динамические настройки (меняются на лету без перезапуска), персистентная статистика.
## ✨ Возможности
- **Добавление тем** - через запятую (12345, 67890, 11111) с batch API
- 🗑️ **Удаление тем** - через интерактивное меню
- 📋 **Список тем** - с датой последнего поднятия
- 🚀 **Ручное поднятие** - поднять все темы немедленно через batch API
- **Автоподнятие** - каждые N часов автоматически
- 📊 **Статистика** - успешность, количество поднятий, uptime
- 🔔 **Уведомления** - о каждом поднятии темы
- 🛡️ **Обработка ошибок** - rate limits, network failures, invalid tokens
- **Batch API** - до 10 тем за один запрос (10x быстрее)
- **Добавление тем** через запятую, названия загружаются сразу через batch API
- 🗑️ **Удаление тем** через интерактивное меню
- 📋 **Список тем** с названиями из БД и датой последнего поднятия
- 🚀 **Ручное поднятие** все темы немедленно через batch API
- 🔄 **Обновление названий** — синхронизация названий тем с форумом по кнопке
- **Автоподнятие** — каждые N часов автоматически
- 🛠️ **Динамические настройки** — интервал, batch size, автобамп меняются через меню без перезапуска
- 📊 **Статистика** — сохраняется в БД, не теряется при перезапуске
- 🔔 **Уведомления** — о результате каждого поднятия
- 🛡️ **Защита доступа** — ботом управляет только админ (по Telegram ID)
-**Batch API** — до 10 тем за один запрос
## 🎮 Интерфейс
```
┌─────────────────────────────────┐
Добавить темы │ 📋 Список тем
│ 🗑️ Удалить тему │ 🚀 Поднять темы
📊 Статистика │ 👤 Автор
└─────────────────────────────────┘
┌──────────────────────────────────────
Add topics │ 📋 List of topics
│ 🗑️ Delete topic │ 🚀 Bump topics
🔄 Refresh │ 📊 Statistics
│ 🛠️ Settings │ 👤 Author │
└──────────────────────────────────────┘
```
### Меню настроек
```
┌──────────────────────────────────┐
│ ⏰ Set Interval │
│ 📦 Set Batch Size │
│ 🔄 Toggle Auto-Bump │
│ ↩️ Back to Menu │
└──────────────────────────────────┘
```
## 📦 Установка
@@ -29,9 +43,9 @@ Production-ready Telegram бот для автоматического подн
### Требования
- Python 3.12+
- pip или uv
- pip
### 1. Установите зависимости
### 1. Клонируйте и установите зависимости
```bash
pip install -r requirements.txt
@@ -49,29 +63,32 @@ pip install -r requirements.txt
2. Создайте токен с правами `read`, `post`
3. Скопируйте токен
### 3. Настройте config.json
**Ваш Telegram ID:**
1. Напишите [@userinfobot](https://t.me/userinfobot) и получите свой ID
```json
{
"bot": {
"api_token": "1234567890:ABCdefGHIjklMNOpqrsTUVwxyz",
"img_url": "https://wallpapers-clan.com/wp-content/uploads/2024/04/dark-anime-girl-with-red-eyes-desktop-wallpaper-preview.jpg",
"author_url": "https://lolz.live/kqlol/"
},
"api": {
"base_url": "https://prod-api.lolz.live",
"auth_token": "eyJ0eXAiOiJKV1QiLCJhbGc...",
"batch_size": 10
},
"database": {
"path": "threads.db"
},
"scheduling": {
"bump_interval_hours": 12,
"bump_delay_seconds": 2,
"enable_auto_bump": true
}
}
### 3. Настройте `.env`
```env
# Telegram Bot
BOT_API_TOKEN=1234567890:ABCdefGHIjklMNOpqrsTUVwxyz
BOT_IMG_URL=https://wallpapers-clan.com/wp-content/uploads/2024/04/dark-anime-girl-with-red-eyes-desktop-wallpaper-preview.jpg
BOT_AUTHOR_URL=https://lolz.live/kqlol/
# Lolz API
API_BASE_URL=https://prod-api.lolz.live
API_AUTH_TOKEN=eyJ0eXAiOiJKV1QiLCJhbGc...
API_BATCH_SIZE=10
# Database
DB_PATH=threads.db
# Scheduling
BUMP_INTERVAL_HOURS=12
BUMP_DELAY_SECONDS=2
ENABLE_AUTO_BUMP=true
# Admin (ваш Telegram user ID)
ADMIN_USER_ID=123456789
```
### 4. Запустите бота
@@ -84,210 +101,139 @@ python app.py
### Добавление тем
1. Нажмите ** Добавить темы**
1. Нажмите ** Add topics**
2. Введите ID через запятую: `12345, 67890, 11111`
3. Бот автоматически получит названия тем через batch API (до 10 за запрос)
3. Бот сразу загрузит реальные названия через batch API и сохранит в БД
**Пример:**
```
Ввод: 9247920, 9247921, 9247922
### Обновление названий
Результат:
✅ 9247920 - Qiyanas steam idler
✅ 9247921 - Discord bot
✅ 9247922 - VPN service
```
1. Нажмите **🔄 Refresh**
2. Бот загрузит актуальные названия всех тем через batch API
3. Обновлённые названия сохранятся в БД
**Batch API преимущества:**
- Добавление 10 тем = 1 batch запрос вместо 10 обычных
- Добавление 25 тем = 3 batch запроса вместо 25 обычных
- Экономия API лимитов в 10 раз
Полезно, если темы переименовали на форуме — не нужно удалять и добавлять заново.
### Удаление темы
1. Нажмите **🗑️ Удалить тему**
1. Нажмите **🗑️ Delete topic**
2. Выберите тему из списка
3. Подтвердите удаление
### Ручное поднятие
1. Нажмите **🚀 Поднять темы**
2. Бот поднимет все темы через batch API (до 10 за запрос)
1. Нажмите **🚀 Bump topics**
2. Бот поднимет все темы через batch API
3. Получите уведомление о каждой теме:
```
[1/3] ✅ Тема 9247920 поднята успешно
[2/3] ✅ Тема 9247921 поднята успешно
[3/3] Тема 9247922 поднята успешно
[3/3] Тема 9247922: нужно подождать
```
**Batch API преимущества:**
- Поднятие 10 тем = 1 batch запрос (0.1 * 10 = 1 batch)
- Поднятие 50 тем = 5 batch запросов вместо 50 обычных
- Скорость выполнения увеличена в ~10 раз
### Просмотр списка
Нажмите **📋 Список тем** - покажет:
- ID темы
- Название темы
- Дату последнего поднятия
### Статистика
Нажмите **📊 Статистика** - покажет:
- Количество тем
- Готовые к поднятию
- Всего попыток
- Успешность (%)
- Настройки интервала
Нажмите **📊 Statistics** покажет:
- Количество тем (всего / готовы к поднятию)
- Статистика поднятий (всего / успешно / %)
- Дата последнего бампа
- Текущие настройки
- Время работы бота
## ⚙️ Настройки
Статистика сохраняется в SQLite и не сбрасывается при перезапуске.
### Интервал автоподнятия
## ⚙️ Настройки (меняются на лету)
В `config.json` измените `bump_interval_hours`:
Все настройки изменяются через кнопку **🛠️ Settings** без остановки бота:
| Значение | Интервал |
|----------|----------|
| `12` | 12 часов |
| `6` | 6 часов |
| `24` | 24 часа |
| Кнопка | Что меняет | Применяется |
|--------|-----------|-------------|
| ⏰ Set Interval | Интервал автобампа (часы) | Мгновенно, перезапускает цикл |
| 📦 Set Batch Size | Размер batch (1–10) | Мгновенно для следующих запросов |
| 🔄 Toggle Auto-Bump | Включить/выключить автобамп | Мгновенно |
### Размер batch запросов
В `config.json` измените `batch_size`:
| Значение | Описание |
|----------|----------|
| `10` | Максимум (рекомендуется) - 10 тем за запрос |
| `5` | Средний - 5 тем за запрос |
| `1` | Отключить batch - по 1 теме |
**Примечание:** Batch API Lolz.live поддерживает до 10 запросов в одном batch. Каждый запрос = 0.1 batch, итого 10 запросов = 1 полный batch.
### Тестовый режим (5 минут)
```json
"scheduling": {
"bump_interval_hours": 0.0833,
"bump_delay_seconds": 1,
"enable_auto_bump": true
}
```
Настройки хранятся в БД и сохраняются между перезапусками.
## 🔄 Как работает автоподнятие
1. Запускаете бота
2. Вручную поднимаете темы через 🚀 (первый раз)
3. Бот ждет указанный интервал (например, 12 часов)
4. Автоматически поднимает темы, у которых прошло 12+ часов
5. Повторяет каждые 12 часов
3. Бот ждёт указанный интервал (например, 12 часов)
4. Автоматически поднимает темы, у которых прошёл интервал
5. Цикл повторяется
**Пример:**
```
00:00 - Запуск бота
00:05 - Вы вручную нажали "Поднять темы"
12:05 - Автоматическое поднятие
24:05 - Автоматическое поднятие
36:05 - Автоматическое поднятие
00:00 Запуск бота
00:05 — Ручное поднятие
12:05 Автоматическое поднятие
24:05 Автоматическое поднятие
```
## 🏗️ Архитектура
### Модульная структура
```
app.py # Main bot logic with FSM
config_manager.py # Type-safe configuration
api_client.py # Lolz batch API client with retry logic
database.py # SQLite with connection pooling
app.py # Бот: хендлеры, middleware аутентификации, авто-бамп
config_manager.py # Загрузка и валидация .env
api_client.py # Lolz batch API клиент с retry логикой
database.py # SQLite: темы, настройки, статистика
```
### Ключевые улучшения
### Что внутри БД (SQLite через aiosqlite)
- **Batch API**: До 10 тем за один запрос (10x эффективнее)
- **Type Safety**: Полная типизация с Python 3.12+ (PEP 695)
- **SOLID Principles**: Каждый модуль имеет одну ответственность
- **Connection Pooling**: Эффективное управление соединениями
- **Error Handling**: Специфичные исключения для каждого случая
- **Async Context Managers**: Автоматическая очистка ресурсов
- **Immutable Config**: Frozen dataclasses для безопасности
- **Logging**: Структурированные логи с rotation
- **Graceful Shutdown**: Корректное завершение всех задач
| Таблица | Назначение |
|---------|-----------|
| `threads` | Темы: ID, название, дата последнего бампа |
| `settings` | Динамические настройки (интервал, batch_size, автобамп) |
| `bump_stats` | Персистентная статистика (всего/успешно/последний бамп) |
### Batch API Implementation
### Ключевые особенности
**Как работает:**
```python
# Старый способ (10 запросов):
for thread_id in [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]:
POST /threads/{thread_id}/bump
# Новый способ (1 batch запрос):
POST /batch
[
{"uri": "/threads/1/bump", "method": "POST"},
{"uri": "/threads/2/bump", "method": "POST"},
...
{"uri": "/threads/10/bump", "method": "POST"}
]
```
**Преимущества:**
- Экономия API лимитов в 10 раз
- Скорость выполнения увеличена в ~10 раз
- Меньше нагрузка на сеть
- Атомарная обработка результатов
### Edge Cases
- Rate limiting от API (обработка в batch ответах)
- Network timeouts (retry для batch запросов)
- Invalid tokens (валидация перед batch)
- Partial batch failures (индивидуальная обработка каждого результата)
- Concurrent access (connection pooling)
- Database locks (async context managers)
- Memory leaks prevention (frozen dataclasses, proper cleanup)
- **Batch API** — до 10 тем за запрос (экономия лимитов в 10 раз)
- **Динамические настройки** — меняются в БД, подхватываются ботом мгновенно
- **Персистентная статистика** — не теряется при перезапуске
- **Аутентификация** — middleware проверяет Telegram ID админа
- **Async context managers** — автоматическая очистка ресурсов
- **Frozen dataclasses с `__slots__`** — иммутабельность и экономия памяти
- **WAL-режим SQLite** — лучшая конкурентность
## 📝 Логи
- **Консоль** - основные события
- **bot.log** - детальные логи с traceback
- **Консоль** основные события
- **bot.log** детальные логи с traceback
## 🔧 Технические детали
## 🔧 Зависимости
- **Python**: 3.12+
- **aiogram**: 3.4.1
- **aiohttp**: 3.10.0+
- **aiogram**: 3.15.0
- **aiohttp**: bundled with aiogram
- **aiosqlite**: 0.20.0+
- **База данных**: SQLite с индексами
- **API**: https://prod-api.lolz.live
- **Batch API**: До 10 запросов за 1 batch (каждый = 0.1 batch)
- **python-dotenv**: 1.0.0+
## 🐛 Troubleshooting
### Ошибка: "bot.api_token not configured"
### Ошибка: «BOT_API_TOKEN not configured»
Заполните `config.json` реальными токенами.
Проверьте `.env` — заполните `BOT_API_TOKEN` реальным токеном от @BotFather.
### Ошибка: "Invalid API token"
### Ошибка: «ADMIN_USER_ID not configured»
Укажите в `.env` ваш Telegram ID (получить через @userinfobot).
### Ошибка: «API_AUTH_TOKEN not configured»
Проверьте токен на [zelenka.guru/account/api](https://zelenka.guru/account/api).
### Ошибка: "Network error"
### Ошибка: «⛔ Доступ запрещён»
Проверьте интернет-соединение и доступность API.
Ботом может управлять только пользователь, чей Telegram ID указан в `ADMIN_USER_ID`.
### Темы не поднимаются автоматически
1. Проверьте `enable_auto_bump: true` в config.json
1. Проверьте, что автобамп включён (🔄 Toggle Auto-Bump)
2. Сделайте первое поднятие вручную через 🚀
3. Проверьте логи в bot.log
3. Проверьте логи в `bot.log`
## 👤 Автор
[QIYANA](https://lolz.live/kqlol/) - создатель бота
[QIYANA](https://lolz.live/kqlol/)
---
+40 -7
View File
@@ -352,10 +352,10 @@ class APIClient:
continue
job_data = jobs[uri]
logger.debug(f"Thread {thread_id} bump response: {job_data}")
logger.info(f"Thread {thread_id} raw bump response: {job_data}")
# Empty dict means success for bump
if isinstance(job_data, dict) and len(job_data) == 0:
# Empty list [] or empty dict {} means success
if isinstance(job_data, (list, dict)) and len(job_data) == 0:
logger.info(f"Thread {thread_id} bumped successfully (empty response)")
results.append(BumpResult(
success=True,
@@ -364,7 +364,6 @@ class APIClient:
status=BumpStatus.SUCCESS
))
elif isinstance(job_data, dict) and "errors" in job_data:
# Has errors
error_msg = self._extract_error_message(str(job_data["errors"]))
logger.error(
f"Thread {thread_id} bump failed | "
@@ -377,12 +376,46 @@ class APIClient:
thread_id=thread_id,
status=BumpStatus.ERROR
))
elif isinstance(job_data, dict) and "_job_result" in job_data:
job_result = str(job_data.get("_job_result", ""))
job_message = str(job_data.get("_job_message", ""))
if job_result == "error":
error_text = job_message
if not error_text.strip():
errors = job_data.get("errors")
if errors:
if isinstance(errors, list):
error_text = str(errors[0]) if errors else ""
elif isinstance(errors, str):
error_text = errors
else:
error_text = str(errors)
if not error_text.strip():
error_text = str(job_data.get("error", ""))
error_msg = self._extract_error_message(error_text) or "Ошибка API (см. логи)"
logger.error(
f"Thread {thread_id} bump failed | "
f"Job error: {error_msg}"
)
results.append(BumpResult(
success=False,
message=f"Тема {thread_id}: {error_msg}",
thread_id=thread_id,
status=BumpStatus.ERROR
))
else:
logger.info(f"Thread {thread_id} bumped successfully (job_result={job_result}, job_message={job_message})")
results.append(BumpResult(
success=True,
message=f"✅ Тема {thread_id} поднята успешно",
thread_id=thread_id,
status=BumpStatus.SUCCESS
))
else:
# Unknown response
logger.warning(f"Thread {thread_id} unknown bump response: {job_data}")
logger.warning(f"Thread {thread_id} unknown bump response (type={type(job_data).__name__}): {job_data}")
results.append(BumpResult(
success=False,
message=f"Тема {thread_id}: Неизвестный ответ",
message=f"Тема {thread_id}: Неизвестный ответ ({type(job_data).__name__})",
thread_id=thread_id,
status=BumpStatus.ERROR
))
+822 -661
View File
File diff suppressed because it is too large Load Diff
+108 -120
View File
@@ -1,120 +1,108 @@
"""Configuration management with validation and type safety."""
import json
from pathlib import Path
from dataclasses import dataclass
from typing import Self
@dataclass(frozen=True, slots=True)
class BotConfig:
"""Telegram bot configuration."""
api_token: str
img_url: str
author_url: str
@dataclass(frozen=True, slots=True)
class APIConfig:
"""Lolz API configuration."""
base_url: str
auth_token: str
batch_size: int
@dataclass(frozen=True, slots=True)
class DatabaseConfig:
"""Database configuration."""
path: str
@dataclass(frozen=True, slots=True)
class SchedulingConfig:
"""Scheduling configuration."""
bump_interval_hours: float
bump_delay_seconds: float
enable_auto_bump: bool
@dataclass(frozen=True, slots=True)
class Config:
"""Application configuration."""
bot: BotConfig
api: APIConfig
database: DatabaseConfig
scheduling: SchedulingConfig
@classmethod
def load(cls, config_path: str = "config.json") -> Self:
"""Load and validate configuration from JSON file."""
path = Path(config_path)
if not path.exists():
raise FileNotFoundError(f"Config file not found: {config_path}")
with open(path, encoding="utf-8") as f:
data = json.load(f)
# Validate required fields
cls._validate_config(data)
return cls(
bot=BotConfig(
api_token=data["bot"]["api_token"],
img_url=data["bot"]["img_url"],
author_url=data["bot"]["author_url"]
),
api=APIConfig(
base_url=data["api"]["base_url"].rstrip("/"),
auth_token=data["api"]["auth_token"],
batch_size=int(data["api"].get("batch_size", 10))
),
database=DatabaseConfig(
path=data["database"]["path"]
),
scheduling=SchedulingConfig(
bump_interval_hours=float(data["scheduling"]["bump_interval_hours"]),
bump_delay_seconds=float(data["scheduling"].get("bump_delay_seconds", 2)),
enable_auto_bump=bool(data["scheduling"]["enable_auto_bump"])
)
)
@staticmethod
def _validate_config(data: dict) -> None:
"""Validate configuration structure and required fields."""
required_fields = {
"bot": ["api_token", "img_url", "author_url"],
"api": ["base_url", "auth_token"],
"database": ["path"],
"scheduling": ["bump_interval_hours", "enable_auto_bump"]
}
for section, fields in required_fields.items():
if section not in data:
raise ValueError(f"Missing config section: {section}")
for field in fields:
if field not in data[section]:
raise ValueError(f"Missing config field: {section}.{field}")
value = data[section][field]
if isinstance(value, str) and not value.strip():
raise ValueError(f"Empty config field: {section}.{field}")
# Validate token formats
bot_token = data["bot"]["api_token"]
if "YOUR_" in bot_token or not bot_token:
raise ValueError("bot.api_token not configured - please set your Telegram bot token")
api_token = data["api"]["auth_token"]
if "YOUR_" in api_token or not api_token:
raise ValueError("api.auth_token not configured - please set your Lolz API token")
# Validate interval
interval = data["scheduling"]["bump_interval_hours"]
if not isinstance(interval, (int, float)) or interval <= 0:
raise ValueError("scheduling.bump_interval_hours must be positive number")
# Validate batch size
batch_size = data["api"].get("batch_size", 10)
if not isinstance(batch_size, int) or batch_size < 1 or batch_size > 10:
raise ValueError("api.batch_size must be between 1 and 10")
"""Configuration management with .env validation and type safety."""
import os
from dataclasses import dataclass
from typing import Self
from dotenv import load_dotenv
@dataclass(frozen=True, slots=True)
class BotConfig:
api_token: str
img_url: str
author_url: str
@dataclass(frozen=True, slots=True)
class APIConfig:
base_url: str
auth_token: str
batch_size: int
@dataclass(frozen=True, slots=True)
class DatabaseConfig:
path: str
@dataclass(frozen=True, slots=True)
class SchedulingConfig:
bump_interval_hours: float
bump_delay_seconds: float
enable_auto_bump: bool
@dataclass(frozen=True, slots=True)
class Config:
bot: BotConfig
api: APIConfig
database: DatabaseConfig
scheduling: SchedulingConfig
admin_user_id: int
@classmethod
def load(cls, env_path: str = ".env") -> Self:
if not os.path.exists(env_path):
raise FileNotFoundError(f".env file not found: {env_path}")
load_dotenv(env_path)
bot_token = os.getenv("BOT_API_TOKEN", "")
api_token = os.getenv("API_AUTH_TOKEN", "")
admin_user_id = int(os.getenv("ADMIN_USER_ID", "0"))
cls._validate_tokens(bot_token, api_token, admin_user_id)
bot = BotConfig(
api_token=bot_token,
img_url=os.getenv("BOT_IMG_URL", ""),
author_url=os.getenv("BOT_AUTHOR_URL", ""),
)
batch_size = int(os.getenv("API_BATCH_SIZE", "10"))
if batch_size < 1 or batch_size > 10:
raise ValueError("API_BATCH_SIZE must be between 1 and 10")
api = APIConfig(
base_url=os.getenv("API_BASE_URL", "").rstrip("/"),
auth_token=api_token,
batch_size=batch_size,
)
db = DatabaseConfig(
path=os.getenv("DB_PATH", "threads.db"),
)
interval = float(os.getenv("BUMP_INTERVAL_HOURS", "12"))
if interval <= 0:
raise ValueError("BUMP_INTERVAL_HOURS must be positive")
scheduling = SchedulingConfig(
bump_interval_hours=interval,
bump_delay_seconds=float(os.getenv("BUMP_DELAY_SECONDS", "2")),
enable_auto_bump=os.getenv("ENABLE_AUTO_BUMP", "true").lower() == "true",
)
return cls(
bot=bot,
api=api,
database=db,
scheduling=scheduling,
admin_user_id=admin_user_id,
)
@staticmethod
def _validate_tokens(bot_token: str, api_token: str, admin_user_id: int) -> None:
if not bot_token or "YOUR_" in bot_token:
raise ValueError(
"BOT_API_TOKEN not configured — set your Telegram bot token in .env"
)
if not api_token or "YOUR_" in api_token:
raise ValueError(
"API_AUTH_TOKEN not configured — set your Lolz API token in .env"
)
if admin_user_id == 0:
raise ValueError(
"ADMIN_USER_ID not configured — set your Telegram user ID in .env"
)
+295 -259
View File
@@ -1,259 +1,295 @@
"""Database layer with connection pooling and type safety."""
import aiosqlite
import logging
from typing import Self
from dataclasses import dataclass
logger = logging.getLogger(__name__)
@dataclass(frozen=True, slots=True)
class Thread:
"""Thread model with immutable fields."""
id: str
title: str
last_bumped: str | None = None
class Database:
"""SQLite database manager with connection pooling and proper error handling."""
__slots__ = ("_db_path", "_connection")
def __init__(self, db_path: str) -> None:
if not db_path:
raise ValueError("db_path is required")
self._db_path = db_path
self._connection: aiosqlite.Connection | None = None
async def __aenter__(self) -> Self:
"""Async context manager entry."""
await self.connect()
return self
async def __aexit__(self, exc_type, exc_val, exc_tb) -> None:
"""Async context manager exit."""
await self.close()
async def connect(self) -> None:
"""Establish database connection and initialize schema."""
if self._connection is None:
try:
self._connection = await aiosqlite.connect(self._db_path)
# Enable WAL mode for better concurrency
await self._connection.execute("PRAGMA journal_mode=WAL")
await self._initialize_schema()
logger.info(f"Database connected: {self._db_path}")
except Exception as e:
logger.error(f"Failed to connect to database: {e}")
raise
async def close(self) -> None:
"""Close database connection safely."""
if self._connection:
try:
await self._connection.close()
self._connection = None
logger.info("Database connection closed")
except Exception as e:
logger.error(f"Error closing database connection: {e}")
async def _initialize_schema(self) -> None:
"""Initialize database schema with tables and indexes."""
if not self._connection:
raise RuntimeError("Database not connected")
try:
await self._connection.execute("""
CREATE TABLE IF NOT EXISTS threads (
id TEXT PRIMARY KEY,
title TEXT NOT NULL,
last_bumped TEXT,
created_at TEXT DEFAULT CURRENT_TIMESTAMP
)
""")
# Create index for efficient queries on last_bumped
await self._connection.execute("""
CREATE INDEX IF NOT EXISTS idx_last_bumped
ON threads(last_bumped)
""")
await self._connection.commit()
logger.info("Database schema initialized")
except Exception as e:
logger.error(f"Failed to initialize schema: {e}")
raise
def _ensure_connected(self) -> None:
"""Ensure database is connected before operations."""
if not self._connection:
raise RuntimeError("Database not connected. Call connect() first.")
async def add_thread(self, thread_id: str, title: str) -> bool:
"""
Add thread to database.
Args:
thread_id: Unique thread identifier
title: Thread title
Returns:
True if added successfully, False if thread already exists
"""
self._ensure_connected()
try:
await self._connection.execute(
"INSERT INTO threads (id, title) VALUES (?, ?)",
(thread_id, title)
)
await self._connection.commit()
return True
except aiosqlite.IntegrityError:
# Thread already exists (PRIMARY KEY constraint)
return False
except Exception as e:
logger.error(f"Error adding thread {thread_id}: {e}")
raise
async def get_all_threads(self) -> list[Thread]:
"""
Get all threads ordered by ID.
Returns:
List of Thread objects
"""
self._ensure_connected()
try:
async with self._connection.execute(
"SELECT id, title, last_bumped FROM threads ORDER BY id"
) as cursor:
rows = await cursor.fetchall()
return [
Thread(id=row[0], title=row[1], last_bumped=row[2])
for row in rows
]
except Exception as e:
logger.error(f"Error fetching all threads: {e}")
raise
async def get_threads_to_bump(self, interval_hours: float) -> list[Thread]:
"""
Get threads ready for bumping based on interval.
Args:
interval_hours: Minimum hours since last bump
Returns:
List of Thread objects ready to bump
"""
self._ensure_connected()
if interval_hours < 0:
raise ValueError("interval_hours must be non-negative")
try:
async with self._connection.execute(
"""
SELECT id, title, last_bumped FROM threads
WHERE last_bumped IS NULL
OR datetime(last_bumped, '+' || ? || ' hours') <= datetime('now')
ORDER BY last_bumped ASC NULLS FIRST
""",
(interval_hours,)
) as cursor:
rows = await cursor.fetchall()
return [
Thread(id=row[0], title=row[1], last_bumped=row[2])
for row in rows
]
except Exception as e:
logger.error(f"Error fetching threads to bump: {e}")
raise
async def update_last_bumped(self, thread_id: str) -> None:
"""
Update last bumped timestamp for thread to current time.
Args:
thread_id: Thread identifier to update
"""
self._ensure_connected()
try:
await self._connection.execute(
"UPDATE threads SET last_bumped = datetime('now') WHERE id = ?",
(thread_id,)
)
await self._connection.commit()
except Exception as e:
logger.error(f"Error updating last_bumped for thread {thread_id}: {e}")
raise
async def delete_thread(self, thread_id: str) -> bool:
"""
Delete thread from database.
Args:
thread_id: Thread identifier to delete
Returns:
True if deleted successfully, False if thread not found
"""
self._ensure_connected()
try:
cursor = await self._connection.execute(
"DELETE FROM threads WHERE id = ?",
(thread_id,)
)
await self._connection.commit()
return cursor.rowcount > 0
except Exception as e:
logger.error(f"Error deleting thread {thread_id}: {e}")
raise
async def get_thread_count(self) -> int:
"""
Get total number of threads in database.
Returns:
Total thread count
"""
self._ensure_connected()
try:
async with self._connection.execute("SELECT COUNT(*) FROM threads") as cursor:
row = await cursor.fetchone()
return row[0] if row else 0
except Exception as e:
logger.error(f"Error getting thread count: {e}")
raise
async def thread_exists(self, thread_id: str) -> bool:
"""
Check if thread exists in database.
Args:
thread_id: Thread identifier to check
Returns:
True if thread exists, False otherwise
"""
self._ensure_connected()
try:
async with self._connection.execute(
"SELECT 1 FROM threads WHERE id = ? LIMIT 1",
(thread_id,)
) as cursor:
row = await cursor.fetchone()
return row is not None
except Exception as e:
logger.error(f"Error checking thread existence {thread_id}: {e}")
raise
"""Database layer with dynamic settings and stats persistence."""
import aiosqlite
import logging
from typing import Self
from dataclasses import dataclass
from config_manager import Config
logger = logging.getLogger(__name__)
@dataclass(frozen=True, slots=True)
class Thread:
id: str
title: str
last_bumped: str | None = None
@dataclass(frozen=True, slots=True)
class BumpStats:
total_bumps: int
successful_bumps: int
last_bump_time: str | None = None
class Database:
__slots__ = ("_db_path", "_connection")
def __init__(self, db_path: str) -> None:
if not db_path:
raise ValueError("db_path is required")
self._db_path = db_path
self._connection: aiosqlite.Connection | None = None
async def __aenter__(self) -> Self:
await self.connect()
return self
async def __aexit__(self, exc_type, exc_val, exc_tb) -> None:
await self.close()
async def connect(self) -> None:
if self._connection is None:
try:
self._connection = await aiosqlite.connect(self._db_path)
await self._connection.execute("PRAGMA journal_mode=WAL")
await self._connection.execute("PRAGMA foreign_keys=ON")
await self._initialize_schema()
logger.info(f"Database connected: {self._db_path}")
except Exception as e:
logger.error(f"Failed to connect to database: {e}")
raise
async def close(self) -> None:
if self._connection:
try:
await self._connection.close()
self._connection = None
logger.info("Database connection closed")
except Exception as e:
logger.error(f"Error closing database connection: {e}")
async def _initialize_schema(self) -> None:
if not self._connection:
raise RuntimeError("Database not connected")
try:
await self._connection.execute("""
CREATE TABLE IF NOT EXISTS threads (
id TEXT PRIMARY KEY,
title TEXT NOT NULL,
last_bumped TEXT,
created_at TEXT DEFAULT CURRENT_TIMESTAMP
)
""")
await self._connection.execute("""
CREATE INDEX IF NOT EXISTS idx_last_bumped
ON threads(last_bumped)
""")
await self._connection.execute("""
CREATE TABLE IF NOT EXISTS settings (
key TEXT PRIMARY KEY,
value TEXT NOT NULL,
updated_at TEXT DEFAULT CURRENT_TIMESTAMP
)
""")
await self._connection.execute("""
CREATE TABLE IF NOT EXISTS bump_stats (
id INTEGER PRIMARY KEY CHECK (id = 1),
total_bumps INTEGER DEFAULT 0,
successful_bumps INTEGER DEFAULT 0,
last_bump_time TEXT
)
""")
await self._connection.commit()
logger.info("Database schema initialized")
except Exception as e:
logger.error(f"Failed to initialize schema: {e}")
raise
async def seed_defaults(self, config: Config) -> None:
await self._seed_settings(config)
await self._seed_stats()
async def _seed_settings(self, config: Config) -> None:
defaults = {
"bump_interval_hours": str(config.scheduling.bump_interval_hours),
"bump_delay_seconds": str(config.scheduling.bump_delay_seconds),
"enable_auto_bump": str(config.scheduling.enable_auto_bump).lower(),
"batch_size": str(config.api.batch_size),
}
for key, value in defaults.items():
await self._connection.execute(
"INSERT OR IGNORE INTO settings (key, value) VALUES (?, ?)",
(key, value),
)
await self._connection.commit()
async def _seed_stats(self) -> None:
await self._connection.execute(
"INSERT OR IGNORE INTO bump_stats (id, total_bumps, successful_bumps) VALUES (1, 0, 0)"
)
await self._connection.commit()
def _ensure_connected(self) -> None:
if not self._connection:
raise RuntimeError("Database not connected. Call connect() first.")
# ─── Settings ───────────────────────────────────────────────
async def get_setting(self, key: str, default: str | None = None) -> str | None:
self._ensure_connected()
async with self._connection.execute(
"SELECT value FROM settings WHERE key = ?", (key,)
) as cursor:
row = await cursor.fetchone()
return row[0] if row else default
async def set_setting(self, key: str, value: str) -> None:
self._ensure_connected()
await self._connection.execute(
"INSERT OR REPLACE INTO settings (key, value, updated_at) VALUES (?, ?, datetime('now'))",
(key, value),
)
await self._connection.commit()
async def get_all_settings(self) -> dict[str, str]:
self._ensure_connected()
async with self._connection.execute("SELECT key, value FROM settings") as cursor:
rows = await cursor.fetchall()
return {row[0]: row[1] for row in rows}
# ─── Bump Statistics ────────────────────────────────────────
async def get_bump_stats(self) -> BumpStats:
self._ensure_connected()
async with self._connection.execute(
"SELECT total_bumps, successful_bumps, last_bump_time FROM bump_stats WHERE id = 1"
) as cursor:
row = await cursor.fetchone()
if row:
return BumpStats(
total_bumps=row[0],
successful_bumps=row[1],
last_bump_time=row[2],
)
return BumpStats(total_bumps=0, successful_bumps=0)
async def increment_bump_stats(self, success_count: int, total_count: int) -> None:
self._ensure_connected()
await self._connection.execute(
"""
UPDATE bump_stats SET
total_bumps = total_bumps + ?,
successful_bumps = successful_bumps + ?,
last_bump_time = datetime('now')
WHERE id = 1
""",
(total_count, success_count),
)
await self._connection.commit()
# ─── Threads ────────────────────────────────────────────────
async def add_thread(self, thread_id: str, title: str) -> bool:
self._ensure_connected()
try:
await self._connection.execute(
"INSERT INTO threads (id, title) VALUES (?, ?)",
(thread_id, title),
)
await self._connection.commit()
return True
except aiosqlite.IntegrityError:
return False
except Exception as e:
logger.error(f"Error adding thread {thread_id}: {e}")
raise
async def update_thread_title(self, thread_id: str, title: str) -> bool:
self._ensure_connected()
try:
cursor = await self._connection.execute(
"UPDATE threads SET title = ? WHERE id = ?", (title, thread_id)
)
await self._connection.commit()
return cursor.rowcount > 0
except Exception as e:
logger.error(f"Error updating title for thread {thread_id}: {e}")
raise
async def get_all_threads(self) -> list[Thread]:
self._ensure_connected()
try:
async with self._connection.execute(
"SELECT id, title, last_bumped FROM threads ORDER BY id"
) as cursor:
rows = await cursor.fetchall()
return [Thread(id=row[0], title=row[1], last_bumped=row[2]) for row in rows]
except Exception as e:
logger.error(f"Error fetching all threads: {e}")
raise
async def get_threads_to_bump(self, interval_hours: float) -> list[Thread]:
self._ensure_connected()
if interval_hours < 0:
raise ValueError("interval_hours must be non-negative")
try:
async with self._connection.execute(
"""
SELECT id, title, last_bumped FROM threads
WHERE last_bumped IS NULL
OR datetime(last_bumped, '+' || ? || ' hours') <= datetime('now')
ORDER BY last_bumped ASC NULLS FIRST
""",
(interval_hours,),
) as cursor:
rows = await cursor.fetchall()
return [Thread(id=row[0], title=row[1], last_bumped=row[2]) for row in rows]
except Exception as e:
logger.error(f"Error fetching threads to bump: {e}")
raise
async def update_last_bumped(self, thread_id: str) -> None:
self._ensure_connected()
try:
await self._connection.execute(
"UPDATE threads SET last_bumped = datetime('now') WHERE id = ?",
(thread_id,),
)
await self._connection.commit()
except Exception as e:
logger.error(f"Error updating last_bumped for thread {thread_id}: {e}")
raise
async def delete_thread(self, thread_id: str) -> bool:
self._ensure_connected()
try:
cursor = await self._connection.execute(
"DELETE FROM threads WHERE id = ?", (thread_id,)
)
await self._connection.commit()
return cursor.rowcount > 0
except Exception as e:
logger.error(f"Error deleting thread {thread_id}: {e}")
raise
async def get_thread_count(self) -> int:
self._ensure_connected()
try:
async with self._connection.execute("SELECT COUNT(*) FROM threads") as cursor:
row = await cursor.fetchone()
return row[0] if row else 0
except Exception as e:
logger.error(f"Error getting thread count: {e}")
raise
async def thread_exists(self, thread_id: str) -> bool:
self._ensure_connected()
try:
async with self._connection.execute(
"SELECT 1 FROM threads WHERE id = ? LIMIT 1", (thread_id,)
) as cursor:
row = await cursor.fetchone()
return row is not None
except Exception as e:
logger.error(f"Error checking thread existence {thread_id}: {e}")
raise
+3 -2
View File
@@ -1,2 +1,3 @@
aiogram==3.15.0
aiosqlite>=0.20.0
aiogram==3.15.0
aiosqlite>=0.20.0
python-dotenv>=1.0.0