Notificação de novos posts na mixmods

03 Mai 2020, 22:35

Eu estava pensando e seria bom notificar quando tivesse novas postagens do site.

Eu por exemplo, quando jogava SA, entrava no site algumas vezes no dia para verificar se tinha uma nova postagem e naquela época uma notificação seria muito útil.

Pensando assim eu queria ajudar a comunidade da mixmods nisso.
A minha ideia é fazer uma extensão para o navegador que faz webscraping no site e mostra as últimas postagens.

E nesse post venho aqui pedi a permissão pra isso e quem sabe se ficar bom, as pessoas poderiam usar...

Projeto no GitHub: https://github.com/Mikael-R/mixmods-scraping

03 Mai 2020, 23:06

Só usar o RSS do blog e um leitor que dê notificações.
https://www.mixmods.com.br/feeds/posts/default?alt=rss -- rss das postagens mais novas
https://www.coderedcorp.com/tools/rss-preview/ -- site para pré-visualizar o RSS

Com o IFTTT dá para fazer um webhook e receber as notificações no Discord, Twitter, celular, etc.

Se você for fazer webscraping, você terá problemas com o Cloudflare.

SpoilerAbrir

• Se for um programa desktop:
O site irá pedir para completar a captcha e se você não estiver usando o Selenium, Puppeteer ou algum Chrome headless você não terá como pedir intervenção do usuário para resolver. Por pedir captcha o programa também não conseguirá checar automaticamente sem o usuário clicar.
• Se for uma extensão para navegador:
O Cloudflare vai achar que você tá rodando um bot e vai pedir para completar captcha toda vez que você clicar na extensão.
• Será melhor acessar o site direto.

04 Mai 2020, 01:08

Eu estava pensando exatamente nisso à um tempo atrás e fui atrás mas não fiz nada.
Vou tentar fazer algo agora mas provavelmente não vou conseguir.

04 Mai 2020, 20:52

Legacy escreveu: ↑
03 Mai 2020, 23:06
Só usar o RSS do blog e um leitor que dê notificações.
https://www.mixmods.com.br/feeds/posts/default?alt=rss -- rss das postagens mais novas
https://www.coderedcorp.com/tools/rss-preview/ -- site para pré-visualizar o RSS

Com o IFTTT dá para fazer um webhook e receber as notificações no Discord, Twitter, celular, etc.

Se você for fazer webscraping, você terá problemas com o Cloudflare.

SpoilerAbrir
• Se for um programa desktop:
O site irá pedir para completar a captcha e se você não estiver usando o Selenium, Puppeteer ou algum Chrome headless você não terá como pedir intervenção do usuário para resolver. Por pedir captcha o programa também não conseguirá checar automaticamente sem o usuário clicar.
• Se for uma extensão para navegador:
O Cloudflare vai achar que você tá rodando um bot e vai pedir para completar captcha toda vez que você clicar na extensão.
• Será melhor acessar o site direto.

Eu não tive muitos problemas, apenas com a extensão do browser pq não pra fazer request nele então vou criar como um programa de desktop

04 Mai 2020, 23:21

Mikael escreveu: ↑
04 Mai 2020, 20:52
pq não pra fazer request nele

Pior que com XMLHttpRequest dá.

https://developer.chrome.com/extensions/xhr
https://developer.mozilla.org/pt-BR/doc ... TTPRequest

Fiz um rascunho bem enxuto de como o programa funcionaria se fosse por RSS.
Só por uma interface * gráfica *, um temporizador que repete a função principal do porgrama e já era.

demonstraçãoAbrir

vídeo

código-fonteAbrir

Código: Selecionar tudo

package main

import (
	"bufio"
	"encoding/xml"
	"fmt"
	"io/ioutil"
	"log"
	"net/http"
	"os"
	"strings"
)

type RSS struct {
	XMLName xml.Name `xml:"rss"`
	Channel []blogPost `xml:"channel"`
}

type blogPost struct {
	BlogPosts []blogPostContent `xml:"item"`
}

type blogPostContent struct {
	Categories []string `xml:"category"`
	Title string `xml:"title"`
	Description string `xml:"description"`
	Link string `xml:"link"`
}

// --
// Função para mostrar erros e fechar o programa
// --
func checkError(err error){
	checkError(err)
}
// --
// Função para baixar o RSS da MixMods
// --

func queryRSS (rssURL string) (ret []byte) {
	resp, err := http.Get(rssURL)
	checkError(err)
	body, err := ioutil.ReadAll(resp.Body)
	checkError(err)
	// https://gobyexample.com/defer
	// https://en.wikipedia.org/wiki/Resource_leak
	defer resp.Body.Close()
	//
	return body
}

// --
// Função para converter o feed RSS em um texto legível
// --

func rssFeedToStr(rssFeed []byte)(ret string){
	var rss RSS
	err := xml.Unmarshal(rssFeed, &rss)
	checkError(err)
	var msg string
	for i := len(rss.Channel[0].BlogPosts) - 1; i > -1; i-- {
		msg += "\n" + rss.Channel[0].BlogPosts[i].Title
		msg += "\n" + rss.Channel[0].BlogPosts[i].Link
		for j := 0; j < len(rss.Channel[0].BlogPosts[i].Categories); j++ {
			msg += "\n\t" + "•" + rss.Channel[0].BlogPosts[i].Categories[j]
		}
		msg += "\n"
	}
	return msg
}

// --
// Funções para pedir confirmação do usuário
// https://gist.github.com/albrow/5882501
// --

func askForConfirmation() bool {
	var response string

	_, err := fmt.Scanln(&response)
	if err != nil {
		log.Fatal(err)
	}

	switch strings.ToLower(response) {
	case "y", "yes", "s", "sim":
		return true
	case "n", "no", "não", "nao":
		return false
	default:
		fmt.Println("\n(Y/N) (Yes/No) / (S/N) (Sim/Não)\n> ")
		return askForConfirmation()
	}
}

func createFeedCopy(readableFeed string){
	f, err := os.Create("mixmodsNotifierTMP.dat")
	checkError(err)
	_, err = f.WriteString(readableFeed)
	checkError(err)
}

// --
// Escopo principal
// --

func main(){
	rssFeed := queryRSS("https://www.mixmods.com.br/feeds/posts/default?alt=rss")
	readableFeed := rssFeedToStr(rssFeed)
	if _, err := os.Stat("mixmodsNotifierTMP.dat"); err == nil {
		f, err := os.Open("mixmodsNotifierTMP.dat")
		checkError(err)
		body, err := ioutil.ReadAll(f)
		checkError(err)
		if string(body) == readableFeed {
			fmt.Println("\n[MixMods-Notifier] Não há novas postagens.")
		} else {
			fmt.Println("[MixMods-Notifier] Há novas postagens.")
			fmt.Println("[MixMods-Notifier] Você deseja pré-visualizar a lista de postagens?")
			fmt.Printf("\n(Y/N) (Yes/No) / (S/N) (Sim/Não)\n> ")
			if askForConfirmation() {
				fmt.Println(readableFeed)
			}
			err := f.Close()
			checkError(err)
			err = os.Remove("mixmodsNotifierTMP.dat")
			checkError(err)
			createFeedCopy(readableFeed)
		}
	} else {
		createFeedCopy(readableFeed)
		fmt.Println("\n[MixMods-Notifier] As postagens atuais foram salvas. \n[MixMods-Notifier] Use o programa mais tarde para checar por alterações.")
	}
	fmt.Print("\nPressione qualquer tecla para sair do programa ...")
	bufio.NewReader(os.Stdin).ReadBytes('\n')
}

Download:

Código: Selecionar tudo

https://drive.google.com/file/d/16tZFeUxDLm22_T9RruzyG8BA8deyC7f5/view?usp=sharing

Scan:

Código: Selecionar tudo

https://www.virustotal.com/gui/file/432ef1cab257743c788341471663379d0f91c154c66ec986faa93e88d4a9c149/detection

anotaçõesAbrir

https://gtk.org
https://www.gtk.org/docs/installations/ ... g-packages
https://mattn.github.io/go-gtk/

05 Mai 2020, 11:31

Opera tem modo de notícias que automaticamente identifica os posts.
Imagem

Acho que não tem opção para receber notificação, mas deve ter alguma extensão pro Opera que se adapta à isto.

Tem aquele negócio de sites pedindo para dar notificação, mas eu nunca vi como aquilo funciona e odeio aquele pedido, maioria das vezes é usado como um adware, portanto nem tô afim de ir atrás.

05 Mai 2020, 14:37

O legacy já fez tudo, quem ia fazer era eu

Mesmo assim, eu tava tentando converter o rss em json e depois pegar as informações dele...
https://github.com/Mikael-R/mixmods-scr ... r/index.js

06 Mai 2020, 14:19

Eu terminei o meu, usei a lib rss-parse para conveter rss em json

Menos de 30 linhas de código hehe

Execute o programa no terminal: https://github.com/Mikael-R/mixmods-scr ... /tag/1.0.0

Forum.MixMods

Notificação de novos posts na mixmods

Notificação de novos posts na mixmods

Re: Notificação de novos posts na mixmods

Re: Notificação de novos posts na mixmods

Re: Notificação de novos posts na mixmods

Re: Notificação de novos posts na mixmods

Re: Notificação de novos posts na mixmods

Re: Notificação de novos posts na mixmods

Re: Notificação de novos posts na mixmods