Много файлов | Телеграмм бот для превращения JSON - NETSCAPE / NETSCAPE - JSON

QIYANA · 25 апр 2024

Привет. Помню когда еще был молод и не так стар (2023) меня попросили написать превращалку файлов из Json в netscape.
Челу там что-то с логами понадобилось ну я и взялся.

Этот скрипт представляет собой Telegram бота, который позволяет конвертировать файлы из формата JSON в формат Netscape и обратно.
Запускается бот и затем он предоставляет пользователю две кнопки: "JSON TO NETSCAPE" и "NETSCAPE TO JSON". При выборе одной из этих кнопок пользователь может отправить файл JSON или файл в формате Netscape. Бот обрабатывает файлы, конвертирует их в соответствующий формат и отправляет обратно пользователю.
Для удобства организации файлов скрипт автоматически создает отдельную папку с текущей датой при каждой конвертации файла. В этой папке сохраняются как исходный файл, так и его конвертированная версия.

Скачиваете - https://github.com/qiyanaitsme/QIYANASJSONTONETSCAPECONVERTER
Ставите либы - pip install requirements.txt
Устанавливаете токен боту - bot = telebot.TeleBot("MEOW"), где MEOW ваш токен.
Запускаете.

1.Многопоточность (ThreadPoolExecutor):
Параллельная обработка множества файлов
Высокая скорость работы при больших объемах

2. Архивация результатов:
Все конвертированные файлы в одном ZIP
Работа с архивом в памяти без записи на диск

3. Буферизация файлов:
Накопление файлов в течение 5 секунд
Автоматический старт конвертации

4. Оптимизация памяти:
Отказ от сохранения на диск
Работа через BytesIO

5. Статистика конвертации:
Количество обработанных файлов
Статус успешных конвертаций

DDM · 25 апр 2024

import os
import json

def netscapeToJson(filename):
x="Cookies//"+filename
myfile = open(x, "r")
cookie = []
myline = myfile.readline()
# print(filename)
while myline:
key = {}
x = myline.split()
key['domain'] = x[0]
key['httpOnly'] = x[1] == "TRUE"
key['path'] = x[2]
key['secure'] = x[3] == "TRUE"
key['expirationDate'] = int(x[4])
key['name'] = x[5]
key['value'] = x[6]
cookie.append(key)
myline = myfile.readline()
myfile.close()
filepath = path + filename
file1 = open(filepath, 'w')
file1.writelines(str(json.dumps(cookie, indent=2)))
file1.close()

if __name__=="__main__":

path = 'cookies_json//'
try:
os.mkdir(path)
except OSError as error:
print(error)

# Get the list of all files and directories
pathc = "Cookies"
dir_list = os.listdir(pathc)

print("TASK STARTED...")

for h in dir_list:
netscapeToJson(h)

print("TASK COMPLETED...")

Python
import os
import json

def netscapeToJson(filename):
    x="Cookies//"+filename
    myfile = open(x, "r")
    cookie = []
    myline = myfile.readline()
    # print(filename)
    while myline:
        key = {}
        x = myline.split()
        key['domain'] = x[0]
        key['httpOnly'] = x[1] == "TRUE"
        key['path'] = x[2]
        key['secure'] = x[3] == "TRUE"
        key['expirationDate'] = int(x[4])
        key['name'] = x[5]
        key['value'] = x[6]     
        cookie.append(key)
        myline = myfile.readline()
    myfile.close()
    filepath = path + filename
    file1 = open(filepath, 'w')
    file1.writelines(str(json.dumps(cookie, indent=2)))
    file1.close()

if __name__=="__main__":
    
    path = 'cookies_json//'   
    try:
        os.mkdir(path)
    except OSError as error:
        print(error)
    
    # Get the list of all files and directories
    pathc = "Cookies"
    dir_list = os.listdir(pathc)

    print("TASK STARTED...")

    for h in dir_list:
        netscapeToJson(h)

    print("TASK COMPLETED...")
Кому над есть просто версия