Programação e análise dos mercados financeiros

[Virtua 1302]

Post 1.2 - For Loop (opcional para iniciados)

Entretanto saquei os dados do IQQ0 do investing.com. Podem saca-los vocês ou ir buscar à pasta partilhada! 

Este post é opcional para iniciados porque são temas um pouco mais avançados e/ou que podem não interessar no curto prazo. Mas aconselho a voltarem aqui quando tiverem oportunidade e aprender a fazer o for loop, que é na minha opinião das coisas mais importantes em programação para automatizarem uma tarefa.

Os ficheiros devem estar todos na pasta onde estão a programar e devem ter o nome do estilo "ticker.csv"

Podem ver o ficheiro completo aqui: Link

Código limpo:

# Import libraries
import pandas as pd
import cufflinks as cf

import PortfolioAnalyser as pa

# Set cufflinks offline
cf.go_offline()

tickers = ['IWDA', 'IS3Q', 'IQQ0']

ETFs = pd.DataFrame()

# Para cada valor na variável tickers
for ticker in tickers:
    # Ler o ficheiro .csv correspondente, ler as datas e seleccionar só a coluna de preços
    ETF = pd.read_csv(ticker + '.csv', index_col='Date', parse_dates=True)[['Price']]
    # Dar o nome do ticker à coluna para depois podermos distinguir na DataFrame
    ETF.columns = [ticker]
    # Usar a função merge_time_series usando a opção outer (quando são muitos ETFs aconselho
    # sempre a função outer para não ir "perdendo" demasiadas cotações simplesmente poque há
    # um ETF sem cotação nesse dia). Por outro lado a função dropna() força a começarem e 
    # acabarem no mesmo dia (para serem efectivamente comparáveis)
    ETFs = pa.merge_time_series(ETFs, ETF, how='outer').dropna()

# Ordenar as datas para que sejam ascendentes
ETFs = ETFs.sort_index(ascending=True)

# Fazer o growth index
ETFs_gi = pa.compute_growth_index(ETFs)
    
ETFs_gi

### Devem usar nova célula ###
ETFs_gi.iplot(dimensions=pa.dimensions)
  
### Devem usar nova célula ###
pa.compute_performance_table(ETFs_gi)

 

 

Editado 7 de Setembro de 2020 por Virtua

[Rick Lusitano 2115]

há 21 horas, CDCD disse:

- cortar datas, usando "a" para a variável da dataframe e "Date" para a coluna da data:

a[a["Date"] >= "2000-01-01"] # desde...

a[a["Date"] <= "2010-01-01"] # até

a[ (a["Date"]>="2000-01-01") & (a["Date"]<= "2010-01-01") ] # entre

ler de xls:

- usa pd.read_excel() em vez de pd.read_csv(), mas requer uma nova biblioteca para ler excel, e.g. pip install xlrd

 

Obrigado pelas dicas.

Consegue-se ler ficheiros XLS/XLSX sem instalar essa library. Usei o pandas.

[Virtua 1302]

há 1 hora, Rick Lusitano disse:

Consegue-se ler ficheiros XLS/XLSX sem instalar essa library. Usei o pandas.

Já deve vir no anaconda. O anaconda trás uma centena de libraries para aí...

[Rick Lusitano 2115]

há 12 minutos, Virtua disse:

Já deve vir no anaconda. O anaconda trás uma centena de libraries para aí...

Há alguma forma de ver quais as libraries instaladas, através do Jupyter Notebook?

[Virtua 1302]

há 7 horas, Rick Lusitano disse:

Há alguma forma de ver quais as libraries instaladas, através do Jupyter Notebook?

No anaconda prompt escreve:

conda list

 

[Virtua 1302]

Post 1.3 - Função (opcional para iniciados)

Outro post opcional para iniciados mas como fiz a função agora optei por mostrar como se fazem funções. Quem não perceber tudo, não faz mal. Mas seria bom ficarem com a ideia por detrás. Podem e devem usar a função criada para ler ficheiros do investing.com sem compreenderem o que está por detrás. Está já na biblioteca e quem quiser usar não tem de copiar nenhum código. Apenas escrever pa.read_csv_investing(tickers), sendo os tickers os ficheiros que desejam importar dentro de uma lista (ver exemplo no fim do post).

Ficheiro completo aqui: Link

Código limpo:

# Import libraries
import pandas as pd
import cufflinks as cf

import PortfolioAnalyser as pa

# Set cufflinks offline
cf.go_offline()

# Criação da função para ler múltiplos ficheiros do investing.com. Inclui opção de começo e fim da análise.
def read_csv_investing(tickers, start='1900-01-01', stop='2100-01-01'):
    ETFs = pd.DataFrame()

    # Para cada valor na variável tickers
    for ticker in tickers:
        # Ler o ficheiro .csv correspondente, ler as datas e seleccionar só a coluna de preços
        ETF = pd.read_csv(ticker + '.csv', index_col='Date', parse_dates=True)[['Price']]
        # Dar o nome do ticker à coluna para depois podermos distinguir na DataFrame
        ETF.columns = [ticker]
        # Usar a função merge_time_series usando a opção outer (quando são muitos ETFs aconselho
        # sempre a função outer para não ir "perdendo" demasiadas cotações simplesmente porque há
        # um ETF sem cotação nesse dia). Por outro lado a função dropna() força a começarem e 
        # acabarem no mesmo dia (para serem efectivamente comparáveis)
        ETFs = pa.merge_time_series(ETFs, ETF, how='outer').dropna()

    # Ordenar as datas para que sejam ascendentes
    ETFs = ETFs.sort_index(ascending=True)
    
    # Acrescentar função de "cortar" a série temporal que por defeito está desde 1900 até 2100, 
    # o que basicamente é um "atalho" para dizer que não pretendo cortar pois esse periodo deverão
    # apanhar quaisquer datas para as quais há ETFs do investing
    ETFs = ETFs[start:stop]

    # Fazer o growth index
    ETFs_gi = pa.compute_growth_index(ETFs)

    return ETFs_gi
      
# Gráfico comparativo com start e stop (primeiro trimestre de 2020)
ETFs_2020Q1 = read_csv_investing(tickers=['IWDA', 'IS3Q', 'IQQ0'], start='2019-12-30', stop='2020-03-31')
ETFs_2020Q1.iplot(dimensions=pa.dimensions)

E com isto acabo as análises aos ETFs alternativos ao MSCI World/IWDA.

A seguir devemos fazer uma comparação entre índices MSCI. Os ficheiros têm com dados mensais (o que é bom para aprender a usar dados com outras frequências). Iremos fazer uma comparação rápida, um rácio entre os activos para melhor ver as alturas de under ou overperformance e finalmente um gráfico de correlação rolante (que me foi pedido).

 

Editado 7 de Setembro de 2020 por Virtua

[Virtua 1302]

O primeiro post sofreu um mega update ao índice com um roadmap do que pretendo fazer. Podem ir dar uma espreitadela. Estejam à vontade para sugerir dicas e coisas que gostariam de ver feitas (esta pergunta NÃO se estende ao @Rick Lusitano senão só saio daqui em 2030 ?)

Editado 7 de Setembro de 2020 por Virtua

[Rick Lusitano 2115]

há 11 minutos, Virtua disse:

O primeiro post sofreu um mega update ao índice com um roadmap do que pretendo fazer. Podem ir dar uma espreitadela. Estejam à vontade para sugerir dicas e coisas que gostariam de ver feitas (esta pergunta NÃO se estende ao @Rick Lusitano senão só saio daqui em 2030 ?)

[Virtua 1302]

Post 2.0 - Análise rápida comparativa a índices MSCI (Dados mensais/Growth Index/Drawdowns/Performance Table)

AVISO: A biblioteca PortfolioAnalyser agora chama-se PortfolioLab. Já há muito tempo que queria fazer esta alteração e suponho que mais vale fazer a alteração cedo para que não tenha depois de alterar o código de 50 posts. A PortfolioAnalyser ainda se encontra na pasta partilhada e funciona normalmente. Só depois de alterar o código é que a vou substitui completamente. Mas daqui para a frente usamos a Portfolio Lab.

  

Código Limpo:

# Import libraries
import PortfolioLab as pl
import cufflinks as cf
import pandas as pd

# Set cufflinks offline
cf.go_offline()

### Nova célula ###
MSCIs = pl.read_xlsl_MSCI(tickers=['MSCI_World_EUR', 'MSCI_EM_EUR'], 
                          nomes=['World €', 'EM €'])

### Nova célula ###
MSCIs.iplot(dimensions=pl.dimensions,
            title= 'MSCI World € vs MSCI EM €',
            yTitle='Valorização por cada 100 €uros investidos')

### Nova célula ###
DD = pl.compute_drawdowns(MSCIs)
DD.iplot(dimensions=pl.dimensions)

### Nova célula ###
# Compute Performance table
pl.compute_performance_table(MSCIs, freq='months')

 

Editado 9 de Setembro de 2020 por Virtua

[Rick Lusitano 2115]

Olha VG, o meu sonho húmido (Dados de AF, AF com previsões, modelos): (checka o vídeo)

https://finbox.com/

É um serviço Freemium. Dá para Stocks, ETFs, ...

Podes espreitar as funcionalidades aqui:

https://finbox.com/ideas

 

Editado 11 de Setembro de 2020 por Rick Lusitano

[Virtua 1302]

há 2 horas, Rick Lusitano disse:

Olha VG, o meu sonho húmido (Dados de AF, AF com previsões, modelos): (checka o vídeo)

https://finbox.com/

É um serviço Freemium. Dá para Stocks, ETFs, ...

Podes espreitar as funcionalidades aqui:

https://finbox.com/ideas

Finalmente vejo algo de jeito e bonito. Até está em conta tendo em consideração a quantidade e qualidade da informação.

Relativamente simples de fazer. Diria que dada a info fazias isso fácil via programação. Mas até é mais barato fazer por eles. O que me dá trabalho de obter é a info. Tudo o resto se faz simples ? (incluindo os dashboards deles, sem tirar crédito a ,como disse, das poucas coisas que vi realmente bonitas. Os dashboards estão muito bons mesmo!!)

Editado 11 de Setembro de 2020 por Virtua

[Virtua 1302]

Post 2.1

Tabela de performance anual (anos civis)

Código completo:

# Import libraries
import PortfolioLab as pl
import cufflinks as cf
import pandas as pd

# Set cufflinks offline
cf.go_offline()

### Nova célula ###
MSCIs = pl.read_xlsl_MSCI(tickers=['MSCI_World_EUR', 'MSCI_EM_EUR'], 
                          nomes=['World €', 'EM €'])

### Nova célula ###
MSCIs.iplot(dimensions=pl.dimensions,
            title= 'MSCI World € vs MSCI EM €',
            yTitle='Valorização por cada 100 €uros investidos')

### Nova célula ###
DD = pl.compute_drawdowns(MSCIs)
DD.iplot(dimensions=pl.dimensions)

### Nova célula ###
# Compute Performance table
pl.compute_performance_table(MSCIs, freq='months')

### Nova célula ###
# Tabela de performance por ano civil (até 2008)
returns_until_2008 = pl.compute_yearly_returns(MSCIs, end='2008', title='Yearly Returns from 1998 to 2008')
returns_until_2008

### Nova célula ###
# Tabela de performance por ano civil (desde 2009)
returns_after_2008 = pl.compute_yearly_returns(MSCIs, start='2009', title='Yearly Returns since 2009')
returns_after_2008

### Nova célula ###
# Heatmap de performance por ano civil (até 2008)
returns_until_2008 = pl.compute_yearly_returns(MSCIs, style='chart', end='2008', title='Yearly Returns from 1998 to 2008')
returns_until_2008;

### Nova célula ###
# Heatmap de performance por ano civil (desde 2009)
returns_after_2008 = pl.compute_yearly_returns(MSCIs, style='chart', start='2009', title='Yearly Returns since 2009')
returns_after_2008;

### Nova célula ###
# Tabela de performance colorida (até 2008)
pl.compute_yearly_returns(MSCIs, end='2008', title='Yearly Returns from 1998 to 2008', color=True)

### Nova célula ###
# Tabela de performance colorida (desde 2009)
returns_after_2008 = pl.compute_yearly_returns(MSCIs, start='2009', title='Yearly Returns since 2009', color=True)
returns_after_2008

### Nova célula ###
# Opção String para fazer um ficheiro .CSV com o simbolo de % já embutido
returns_after_2008 = pl.compute_yearly_returns(MSCIs, start='2009', style='string')
returns_after_2008

 

Editado 20 de Setembro de 2020 por Virtua

[Virtua 1302]

Código completo:

# Import libraries
import pandas as pd
import cufflinks as cf

import PortfolioLab as pl

# Set cufflinks offline
cf.go_offline()

# Pesquisa dos ETFs por ticker
pl.search_investing_etf(tickers=['IWDA', 'IS3Q'], visual='jupyter')

# Pesquisa dos ETFs por isin
pl.search_investing_etf(isins=['IE00B4L5Y983', 'IE00BP3QZ601'], visual='jupyter')

# Fazer o download das cotações
names = ['iShares Core MSCI World UCITS', 'iShares MSCI World Quality Factor UCITS']
countries = ['netherlands', 'germany']
colnames = ['IWDA', 'IS3Q']

etfs = pl.get_quotes_investing_etf(names=names, countries=countries, colnames=colnames)

# Fazer o download das cotações com growth index
names = ['iShares Core MSCI World UCITS', 'iShares MSCI World Quality Factor UCITS']
countries = ['netherlands', 'germany']
colnames = ['IWDA', 'IS3Q']


etfs = pl.get_quotes_investing_etf(names=names, countries=countries, colnames=colnames,
                                  begin='1990-01-01', end='2025-01-01',
                                  growth_index=True)

# Fazer o download das cotações sem qualquer tratamento de dados
etfs = pl.get_quotes_investing_etf(names=names, countries=countries, colnames=colnames,
                                  begin='1990-01-01', end='2025-01-01',
                                  merge='outer')

etfs

# Gravar em excel
etfs.to_excel('etfs.xlsx')
etfs.iplot(dimensions=pl.dimensions)

NOTAS IMPORTANTES:

1. O Investing usa apenas dados de cotação, não ajusta a distribuições. Por isso só podem comparar ETFs que são ACC. Os ETFs americanos são de distribuição e por isso não é recomendável que usem o Investing para análises. Mais para a frente vamos aprender a usar o API da yahoo finance e podemos ir buscar os ETFs americanos à Yahoo e os Europeus ao Investing, fundir e comparar.

2. Agora para actualizar a análise é apenas necessário correr o notebook em Run > Run All Cells e ele vai automaticamente buscar as cotações mais recentes ao investing.com

Editado 8 de Outubro de 2020 por Virtua

[xgoldpt 22]

Muito bom @Virtua

[Virtua 1302]

Comecei a fazer Lives no Twitch às Quartas às 21:30 sobre este tema. Vídeos depois vão para o Youtube.

Aqui vídeo da primeira live:

Twitch para as lives todas as Quartas: https://www.twitch.tv/virtuapt/schedule

Editado 20 de Maio de 2022 por Virtua