build0015

main.py

@@ -15,6 +15,19 @@ def get_data(url):
     datas["text"] = (soup.find("body").text).replace("\\n", " ")
     return datas
 
+def get_links(url):
+    links = []
+    scraper = cfscrape.CloudflareScraper()
+    req = scraper.get(url)
+    soup = BeautifulSoup(req.text, 'lxml')
+    datas = soup.find_all("a")
+    for one_data in datas:
+        try:
+            links.append(one_data.get("href"))
+        except:
+            pass
+    return links
+
 def save_data(datas):
     try:
         data = db.load("pages")

server.py

@@ -27,6 +27,20 @@ def add_page_r():
         text = "<a href='/'>Главная страница</a> | <a href='/add_page'>Добавить страницу</a> <br> <p>" + data["uid"] + " - <a href='" + data["data"]["url"] + "'>"+ data["data"]["title"] + "</a>" + "</p>"
     return html_page.format(title=title, text=text)
 
+@app.route('/add_pagem', methods=('GET', 'POST'))
+def add_pagem_r():
+    urls = request.form['url']
+    datas = main.get_data(urls)
+    data = main.save_data(datas)
+    html_page = open("templates/blanks.html", "r").read()
+    if data["code"] == 0:
+        title = "Страница присутсвует в каталоге"
+        text = "<a href='/'>Главная страница</a> | <a href='/add_page'>Добавить страницу</a> <br> <p>" + data["uid"] + " - <a href='" + data["data"]["url"] + "'>"+ data["data"]["title"] + "</a>" + "</p>"
+    else:
+        title = "Страница добавлена в каталог"
+        text = "<a href='/'>Главная страница</a> | <a href='/add_page'>Добавить страницу</a> <br> <p>" + data["uid"] + " - <a href='" + data["data"]["url"] + "'>"+ data["data"]["title"] + "</a>" + "</p>"
+    return html_page.format(title=title, text=text)
+
 @app.route('/remove_page')
 def remove_page():
     return render_template('remove_page.html')

templates/add_page.html

@@ -17,11 +17,17 @@
                 </div>
                 <div class="contentdiv">
                     <div id="lista">
-                        <a href="/">Главная страница</a> | <a href="/remove_page">Удалить страницу</a>
+                        <a href="/">Главная страница</a> | <a href="/remove_page">Удалить страницу</a> <br>
+                        <p>Добавить дону страницу: </p>
                         <form action="/add_page" method="post">
                             <input type="text" name="url" placeholder="URL" class="form-control"></input>
                             <button type="submit" class="btn btn-primary">ADD</button>
-                          </form>
+                        </form>
+                        <p>Или все ссылки с страницы: </p>
+                        <form action="/add_pagem" method="post">
+                            <input type="text" name="url" placeholder="URL" class="form-control"></input>
+                            <button type="submit" class="btn btn-primary">ADD</button>
+                        </form>
                     </div>
                 </div>
             </div>