Without database

app/core/config.py

@@ -1,22 +0,0 @@
-
-# app/core/config.py
-import os
-from pydantic_settings import BaseSettings
-# from dotenv import load_dotenv
-
-# load_dotenv()
-
-class Settings(BaseSettings):
-    MONGO_DETAILS: str = os.getenv("mongodb_uri")
-    MongoDB_NAME: str = "llm_wa_hf"
-    COLLECTION_NAMES: list = ["users", "transactions"]
-    ACCESS_TOKEN:str = os.getenv("ACCESS_TOKEN")
-    API_URL: str = os.getenv("API_URL")
-    MEDIA_UPLOAD_URL: str = os.getenv("MEDIA_UPLOAD_URL")
-    SECRET_KEY: str = os.getenv("SECRET_KEY")
-    ALGORITHM: str = "HS256"
-    ACCESS_TOKEN_EXPIRE_MINUTES: int = 100
-
-settings = Settings()
-
-print(f"SECRET_KEY: {settings.SECRET_KEY}")  # Add this line to verify the SECRET_KEY

app/crud/user.py

@@ -1,30 +0,0 @@
-from app.db.database import db
-from app.schemas.user import UserCreate
-from bson.objectid import ObjectId
-
-async def create_user(user: UserCreate):
-    result = await db.users.insert_one(user.dict())
-    return str(result.inserted_id)
-
-async def get_user_by_id(user_id: str):
-    user = await db.users.find_one({"_id": ObjectId(user_id)})
-    if user:
-        user["id"] = str(user.pop("_id"))
-    return user
-
-async def update_user_credits(user_id: str, amount: float):
-    user = await db.users.find_one({"_id": ObjectId(user_id)})
-    if not user:
-        return None
-
-    new_remaining_credits = user["remaining_credits"] + amount
-    payment_status = new_remaining_credits > 0
-
-    await db.users.update_one(
-        {"_id": ObjectId(user_id)},
-        {"$set": {"remaining_credits": new_remaining_credits, "payment_status": payment_status}}
-    )
-
-    user["remaining_credits"] = new_remaining_credits
-    user["payment_status"] = payment_status
-    return user

app/db/database.py

@@ -1,46 +0,0 @@
-# app/core/database.py
-from motor.motor_asyncio import AsyncIOMotorClient
-from app.core.config import settings
-from pymongo import IndexModel, ASCENDING
-import os
-from dotenv import load_dotenv
-
-load_dotenv()
-
-
-client = AsyncIOMotorClient(settings.MONGO_DETAILS)
-db = client[settings.MongoDB_NAME]
-
-def get_database(db_name:str):
-    return client[db_name]
-
-async def create_collection(db_name:str, collection_name:str):
-    database = get_database(db_name)
-    existing_collections = await database.list_collection_names()
-    if collection_name not in existing_collections:
-        await database.create_collection(collection_name)
-    else:
-        print(f"Collection '{collection_name}' already exists in database '{db_name}'")
-
-
-async def list_collection_names(db_name: str):
-    database = get_database(db_name)
-    collection_names = await database.list_collection_names()
-    return collection_names
-
-async def init_db():
-    print(f"Initializing database '{settings.MongoDB_NAME}'")
-    for collection_name in settings.COLLECTION_NAMES:
-        await create_collection(settings.MongoDB_NAME, collection_name)
-    
-    collections = await list_collection_names(settings.MongoDB_NAME)
-
-    await create_indexes()
-    print(f"Collections in '{settings.MongoDB_NAME}': {collections}")
- 
-# Indexes for users and transactions
-async def create_indexes():
-    user_index = IndexModel([("email", ASCENDING)], unique=True)
-    transaction_index = IndexModel([("user_id", ASCENDING), ("timestamp", ASCENDING)])
-    await db.users.create_indexes([user_index])
-    await db.transactions.create_indexes([transaction_index])

app/endpoints/v1/users.py

@@ -1,48 +0,0 @@
-from fastapi import APIRouter, HTTPException, Depends
-from app.schemas.user import UserCreate, UserResponse, TransactionResponse
-from app.crud.user import create_user, get_user_by_id, update_user_credits
-from app.crud.transaction import record_transaction, get_user_transactions
-
-router = APIRouter()
-
-@router.post("/", response_model=UserResponse)
-async def create_new_user(user: UserCreate):
-    user_id = await create_user(user)
-    user_response = await get_user_by_id(user_id)
-    return user_response
-
-@router.get("/{user_id}", response_model=UserResponse)
-async def get_user(user_id: str):
-    user = await get_user_by_id(user_id)
-    if not user:
-        raise HTTPException(status_code=404, detail="User not found")
-    return user
-
-@router.post("/{user_id}/top-up", response_model=TransactionResponse)
-async def top_up_credits(user_id: str, amount: float):
-    if amount <= 0:
-        raise HTTPException(status_code=400, detail="Amount must be greater than 0")
-
-    transaction = await record_transaction(user_id, amount, "Top-up credits")
-    user = await update_user_credits(user_id, amount)
-    if not user:
-        raise HTTPException(status_code=404, detail="User not found")
-    return transaction
-
-@router.post("/{user_id}/deduct", response_model=TransactionResponse)
-async def deduct_credits(user_id: str, amount: float):
-    if amount <= 0:
-        raise HTTPException(status_code=400, detail="Amount must be greater than 0")
-
-    transaction = await record_transaction(user_id, -amount, "Deduct credits")
-    user = await update_user_credits(user_id, -amount)
-    if not user:
-        raise HTTPException(status_code=404, detail="User not found")
-    return transaction
-
-@router.get("/{user_id}/transactions", response_model=list[TransactionResponse])
-async def list_transactions(user_id: str):
-    transactions = await get_user_transactions(user_id)
-    if not transactions:
-        raise HTTPException(status_code=404, detail="No transactions found")
-    return transactions

app/main.py

@@ -13,8 +13,7 @@ import logging
 from datetime import datetime
 import time
 from contextlib import asynccontextmanager
-from app.db.database import create_indexes, init_db
-from app.endpoints.v1 import users
+# from app.db.database import create_indexes, init_db
 from app.services.webhook_handler import verify_webhook
 from app.handlers.message_handler import MessageHandler
 from app.handlers.webhook_handler import WebhookHandler
@@ -55,7 +54,7 @@ async def lifespan(app: FastAPI):
    
     
     try:
-        await init_db()
+        # await init_db()
 
         logger.info("Connected to the MongoDB database!")
 
@@ -77,7 +76,7 @@ app.add_exception_handler(RateLimitExceeded, _rate_limit_exceeded_handler)
 
 
 
-app.include_router(users.router, prefix="/users", tags=["Users"])
+# app.include_router(users.router, prefix="/users", tags=["Users"])
 
 
 # Prometheus metrics

llamma-duo/generate_dataset.py

@@ -0,0 +1,80 @@
+import google.generativeai as genai
+
+import google.generativeai as genai
+
+genai.configure(api_key="AIzaSyAJxmpiEGSDGAPHiJDbIuclq6EUaQCpPyg")
+
+
+
+ # Initialize the model
+model = genai.GenerativeModel("gemini-1.5-pro-002")
+
+prompt = """
+Hasilkan serangkaian pasangan (instruksi, respons) yang serupa dalam konteks dan struktur dengan contoh yang disediakan di bawah ini. Setiap pasangan harus terdiri dari instruksi singkat yang diikuti oleh respons yang terperinci dan sesuai. Instruksi harus mengajukan tugas atau pertanyaan yang jelas, sementara respons harus memberikan jawaban atau solusi komprehensif yang dapat dipahami oleh seseorang dengan pemahaman dasar tentang subjek tersebut.
+
+Contoh pasangan:
+
+Instruksi: Jelaskan perbedaan antara saham biasa (common stock) dan saham preferen (preferred stock) dalam investasi pasar modal. Apa keunggulan dan kelemahan masing-masing jenis saham ini bagi investor?
+Respons: Saham biasa dan saham preferen memiliki karakteristik yang berbeda dalam investasi.
+
+Saham Biasa (Common Stock):
+- Memberikan hak suara dalam rapat pemegang saham
+- Potensi keuntungan lebih tinggi melalui apresiasi harga saham
+- Dividen tidak dijamin dan bervariasi tergantung kinerja perusahaan
+- Risiko kerugian lebih besar jika perusahaan mengalami kebangkrutan
+
+Saham Preferen (Preferred Stock):
+- Tidak memiliki hak suara dalam rapat pemegang saham
+- Membayar dividen tetap dan terjamin sebelum pembagian dividen saham biasa
+- Prioritas pembayaran lebih tinggi saat likuidasi perusahaan
+- Fluktuasi harga saham biasanya lebih rendah dibandingkan saham biasa
+- Cocok untuk investor yang mencari pendapatan tetap dengan risiko lebih rendah
+
+Perbedaan utama terletak pada hak suara, struktur dividen, dan prioritas pembayaran dalam struktur permodalan perusahaan.
+
+Tugas Anda adalah menghasilkan lebih banyak pasangan yang mempertahankan tingkat kejelasan dan detail ini. Topiknya adalah Keuangan dan Investasi. Pastikan respons informatif dan akurat, sesuai untuk konteks pendidikan.
+
+Simpan pasangan yang dihasilkan dalam format JSON, dengan setiap pasangan sebagai objek dalam sebuah array. Setiap objek harus memiliki dua pasangan key-value: "instruksi" dan "respons". Misalnya:
+
+[{"instruksi": teks, "respons": teks}, {"instruksi": teks, "respons": teks}, ...]
+
+Pastikan untuk mempertahankan konsistensi dalam format dan memastikan pasangan yang dihasilkan beragam dan mencakup berbagai subjek dalam bidang keuangan.
+"""
+
+response = model.generate_content(prompt)
+
+text_result = response.text
+print(f"Text result: {text_result}")
+
+from IPython.display import Markdown
+import textwrap
+
+def to_markdown(text):
+    text = text.replace('•', '  *')
+    return Markdown(textwrap.indent(text, '> ', predicate=lambda _: True))
+
+to_markdown(text_result)
+
+import json
+
+def _find_json_snippet(raw_snippet):
+	"""
+	_find_json_snippet tries to find JSON snippets in a given raw_snippet string
+	"""
+	json_parsed_string = None
+
+	json_start_index = raw_snippet.find('[')
+	json_end_index = raw_snippet.rfind(']')
+
+	if json_start_index >= 0 and json_end_index >= 0:
+		json_snippet = raw_snippet[json_start_index:json_end_index+1]
+		try:
+			json_parsed_string = json.loads(json_snippet, strict=False)
+		except:
+			raise ValueError('......failed to parse string into JSON format')
+	else:
+		raise ValueError('......No JSON code snippet found in string.')
+
+	return json_parsed_string
+
+print(f"JSON result: {_find_json_snippet(text_result)}")