metasyn - synthesize

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.13%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%3E%3D0.25.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22metasyn%20-%20synthesize%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Convert%20your%20GMF%20file%20to%20a%20synthetic%20data%20file%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20micropip%0A%0A%20%20%20%20await%20micropip.install(%5B%22metasyn%22%2C%20%22xlsxwriter%22%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%20%20%20%20from%20metasyn%20import%20MetaFrame%0A%20%20%20%20from%20metasyn.file%20import%20CsvFileInterface%2C%20ExcelFileInterface%2C%20SavFileInterface%2C%20StataFileInterface%0A%20%20%20%20%23from%20pyreadstat%20import%20write_sav%2C%20write_dta%0A%20%20%20%20from%20io%20import%20BytesIO%0A%20%20%20%20import%20re%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BytesIO%2C%0A%20%20%20%20%20%20%20%20CsvFileInterface%2C%0A%20%20%20%20%20%20%20%20ExcelFileInterface%2C%0A%20%20%20%20%20%20%20%20MetaFrame%2C%0A%20%20%20%20%20%20%20%20Path%2C%0A%20%20%20%20%20%20%20%20SavFileInterface%2C%0A%20%20%20%20%20%20%20%20StataFileInterface%2C%0A%20%20%20%20%20%20%20%20json%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20re%2C%0A%20%20%20%20)%0A%0A%0A%40app.class_definition%0Aclass%20NoProgressBar()%3A%0A%20%20%20%20def%20update(self%2C%20val)%3A%0A%20%20%20%20%20%20%20%20pass%0A%20%20%20%20def%20close(self)%3A%0A%20%20%20%20%20%20%20%20pass%0A%20%20%20%20def%20set_description(self%2C%20desc)%3A%0A%20%20%20%20%20%20%20%20pass%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Upload%20your%20GMF%20(.json)%20file%20below%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20file_ui%20%3D%20mo.ui.file(kind%3D%22area%22)%0A%20%20%20%20file_ui%0A%20%20%20%20return%20(file_ui%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Preview%20of%20the%20Synthetic%20data%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(MetaFrame%2C%20file_ui%2C%20json%2C%20mo)%3A%0A%20%20%20%20data%20%3D%20file_ui.contents()%0A%20%20%20%20if%20data%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20mf%20%3D%20MetaFrame.load_json(json.loads(data.decode(%22utf-8%22)))%0A%20%20%20%20%20%20%20%20df_synth%20%3D%20mf.synthesize(10%2C%20progress_bar%3DNoProgressBar())%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20df_synth%20%3D%20mo.md(%22Cannot%20create%20synthetic%20dataset%2C%20load%20GMF%20file%20first.%22)%0A%20%20%20%20df_synth%0A%20%20%20%20return%20data%2C%20mf%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Generate%20synthetic%20data%20with%20the%20file%20format%20in%20the%20file%20(if%20available)%0A%0A%20%20%20%20It%20depends%20on%20the%20creators%20of%20the%20GMF%20file%20whether%20this%20information%20is%20available.%20If%20it%20is%2C%20you%20can%20generate%20a%20file%20that%20is%20as%20similar%20as%20possible%20to%20the%20original%20below%2C%20otherwise%20the%20button%20for%20download%20will%20not%20appear%2C%20but%20you%20can%20select%20the%20file%20format%20in%20the%20next%20section%20manually.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(BytesIO%2C%20Path%2C%20re)%3A%0A%20%20%20%20def%20unescape(regex_str%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%22%22%22Remove%20slashes%20that%20are%20in%20the%20serialized%20string.%22%22%22%0A%20%20%20%20%20%20%20%20return%20re.sub(r'%5C%5C%5C%5C(.)'%2C%20r'%5C1'%2C%20regex_str)%0A%0A%20%20%20%20def%20gen_file(mf%2C%20file_format)%3A%0A%20%20%20%20%20%20%20%20handler%20%3D%20BytesIO()%0A%20%20%20%20%20%20%20%20mf.write_synthetic(handler%2C%20file_format%3Dfile_format%2C%20progress_bar%3DNoProgressBar())%0A%20%20%20%20%20%20%20%20return%20handler%0A%0A%20%20%20%20from%20tempfile%20import%20NamedTemporaryFile%0A%0A%20%20%20%20def%20load_prs_data(mf%2C%20file_format%2C%20prs_func)%3A%0A%20%20%20%20%20%20%20%20with%20NamedTemporaryFile(delete_on_close%3DFalse)%20as%20fp%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20Path(fp.name).is_file()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Path(fp.name).unlink()%0A%20%20%20%20%20%20%20%20%20%20%20%20mf.write_synthetic(fp.name%2C%20file_format%3Dfile_format%2C%20progress_bar%3DNoProgressBar())%0A%20%20%20%20%20%20%20%20%20%20%20%20handler%20%3D%20BytesIO()%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20open(fp.name%2C%20%22rb%22)%20as%20fp_handle%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20handler.write(fp_handle.read())%0A%20%20%20%20%20%20%20%20handler.seek(0)%0A%20%20%20%20%20%20%20%20return%20handler%0A%0A%20%20%20%20return%20gen_file%2C%20load_prs_data%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20gen_file%2C%20mf%2C%20mo)%3A%0A%20%20%20%20if%20data%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20elem%20%3D%20None%0A%20%20%20%20%20%20%20%20if%20mf.file_format%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20elem%20%3D%20mo.download(data%3Dgen_file(mf%2C%20None)%2C%20label%3D%22Generate%20data%20file%22%2C%20mimetype%3D%22text%2Fcsv%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20elem%20%3D%20mo.md(%22Upload%20your%20GMF%20file%20first.%22)%0A%20%20%20%20elem%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20csv_sep%20%3D%20mo.ui.text(value%3D%22%2C%22)%0A%20%20%20%20line_term%20%3D%20mo.ui.text(value%3D%22%5C%5Cn%22)%0A%20%20%20%20quote_char%20%3D%20mo.ui.text(value%3D%22%5C%22%22)%0A%20%20%20%20null_value%20%3D%20mo.ui.text(value%3D%22%22)%0A%20%20%20%20encoding%20%3D%20mo.ui.text(value%3D%22utf-8%22)%0A%20%20%20%20csv_dict%20%3D%20%7B%22separator%3A%22%3A%20csv_sep%2C%20%22line%20termination%3A%22%3A%20line_term%2C%20%22quotation%20mark%3A%22%3A%20quote_char%2C%20%22null%20value%3A%22%3A%20null_value%2C%20%22encoding%3A%22%3A%20encoding%7D%0A%20%20%20%20return%20csv_dict%2C%20csv_sep%2C%20encoding%2C%20line_term%2C%20null_value%2C%20quote_char%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20xls_work_sheet%20%3D%20mo.ui.text(value%3D%22Sheet1%22)%0A%20%20%20%20return%20(xls_work_sheet%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CsvFileInterface%2C%0A%20%20%20%20ExcelFileInterface%2C%0A%20%20%20%20SavFileInterface%2C%0A%20%20%20%20StataFileInterface%2C%0A%20%20%20%20csv_sep%2C%0A%20%20%20%20encoding%2C%0A%20%20%20%20line_term%2C%0A%20%20%20%20null_value%2C%0A%20%20%20%20quote_char%2C%0A%20%20%20%20xls_work_sheet%2C%0A)%3A%0A%20%20%20%20csv_file_format%20%3D%20CsvFileInterface(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22separator%22%3A%20csv_sep.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22quote_char%22%3A%20quote_char.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22line_terminator%22%3A%20line_term.value.replace(%22%5C%5Cn%22%2C%20%22%5Cn%22).replace(%22%5C%5Cr%22%2C%20%22%5Cr%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22null_value%22%3A%20null_value.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22encoding%22%3A%20encoding.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%20%22synthetic_data.csv%22)%0A%0A%20%20%20%20xls_file_format%20%3D%20ExcelFileInterface(%7B%22worksheet%22%3A%20xls_work_sheet.value%7D%2C%20%22synthetic_data.xlsx%22)%0A%20%20%20%20stata_file_format%20%3D%20StataFileInterface(%7B%7D%2C%20%22synthetic_data.dta%22)%0A%20%20%20%20sav_file_format%20%3D%20SavFileInterface(%7B%7D%2C%20%22synthetic_data.sav%22)%0A%20%20%20%20return%20csv_file_format%2C%20sav_file_format%2C%20stata_file_format%2C%20xls_file_format%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20load_prs_data%2C%0A%20%20%20%20mf%2C%0A%20%20%20%20sav_file_format%2C%0A%20%20%20%20stata_file_format%2C%0A%20%20%20%20write_dta%2C%0A%20%20%20%20write_sav%2C%0A)%3A%0A%20%20%20%20def%20load_sav()%3A%0A%20%20%20%20%20%20%20%20return%20load_prs_data(mf%2C%20sav_file_format%2C%20write_sav)%0A%0A%20%20%20%20def%20load_stata()%3A%0A%20%20%20%20%20%20%20%20return%20load_prs_data(mf%2C%20stata_file_format%2C%20write_dta)%0A%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20csv_file_name%20%3D%20mo.ui.text(value%3D%22synthetic_data.csv%22)%0A%20%20%20%20xls_file_name%20%3D%20mo.ui.text(value%3D%22synthetic_data.xls%22)%0A%20%20%20%20stata_file_name%20%3D%20mo.ui.text(value%3D%22synthetic_data.dta%22)%0A%20%20%20%20sav_file_name%20%3D%20mo.ui.text(value%3D%22synthetic_data.sav%22)%0A%20%20%20%20return%20csv_file_name%2C%20xls_file_name%0A%0A%0A%40app.cell%0Adef%20_(csv_file_format%2C%20csv_file_name%2C%20data%2C%20gen_file%2C%20mf%2C%20mo)%3A%0A%20%20%20%20if%20data%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20csv_download%20%3D%20mo.download(data%3Dgen_file(mf%2C%20csv_file_format)%2C%20filename%3Dcsv_file_name.value%2C%20mimetype%3D%22text%2Fcsv%22%2C%20label%3D%22Generate%20CSV%22)%0A%20%20%20%20%20%20%20%20csv_gen%20%3D%20mo.hstack(%5Bmo.md(%22File%20name%3A%22).style(%7B%22width%22%3A%20%22120px%22%7D)%2C%20csv_file_name%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20%20%20%20%20csv_click%20%3D%20mo.hstack(%5Bmo.md(%22%22).style(%7B%22width%22%3A%20%22120px%22%7D)%2C%20csv_download%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20return%20csv_click%2C%20csv_gen%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20gen_file%2C%20mf%2C%20mo%2C%20xls_file_format%2C%20xls_file_name%2C%20xls_work_sheet)%3A%0A%20%20%20%20if%20data%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20xls_mime_type%3D%22application%2Fvnd.openxmlformats-officedocument.spreadsheetml.sheet%22%20if%20xls_file_name.value.endswith(%22xlsx%22)%20else%20%22application%2Fvnd.ms-excel%22%0A%20%20%20%20%20%20%20%20xls_file_row%20%3D%20mo.hstack(%5Bmo.md(%22File%20name%3A%22).style(%7B%22width%22%3A%20%22120px%22%7D)%2C%20xls_file_name%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20%20%20%20%20xls_download%20%3D%20mo.download(data%3Dgen_file(mf%2C%20xls_file_format)%2C%20filename%3Dxls_file_name.value%2C%20mimetype%3Dxls_mime_type%2C%20label%3D%22Generate%20Excel%20file%22)%0A%20%20%20%20%20%20%20%20xls_click%20%3D%20mo.hstack(%5Bmo.md(%22%22).style(%7B%22width%22%3A%20%22120px%22%7D)%2C%20xls_download%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20%20%20%20%20xls_sheet_row%20%3D%20mo.hstack(%5Bmo.md(%22Sheet%20name%3A%22).style(%7B%22width%22%3A%20%22120px%22%7D)%2C%20xls_work_sheet%5D%2C%20widths%3D%5B0%2C%201%5D)%0A%20%20%20%20return%20xls_click%2C%20xls_file_row%2C%20xls_sheet_row%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23stata_file_row%20%3D%20mo.hstack(%5Bmo.md(%22File%20name%3A%22).style(%7B%22width%22%3A%20%2280px%22%7D)%2C%20stata_file_name%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20%23stata_download%20%3D%20mo.download(data%3Dload_stata%2C%20filename%3Dstata_file_name.value%2C%20mimetype%3D%22MimeType%3Dapplication%2Fx-stata-dta%22%2C%20label%3D%22Generate%20Stata%20file%22)%0A%20%20%20%20%23stata_click%20%3D%20mo.hstack(%5Bmo.md(%22%22).style(%7B%22width%22%3A%20%2280px%22%7D)%2C%20stata_download%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23sav_file_row%20%3D%20mo.hstack(%5Bmo.md(%22File%20name%3A%22).style(%7B%22width%22%3A%20%2280px%22%7D)%2C%20sav_file_name%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20%23sav_download%20%3D%20mo.download(data%3Dload_sav%2C%20filename%3Dsav_file_name.value%2C%20mimetype%3D%22MimeType%3Dapplication%2Fx-spss-sav%22%2C%20label%3D%22Generate%20Sav%20file%22)%0A%20%20%20%20%23sav_click%20%3D%20mo.hstack(%5Bmo.md(%22%22).style(%7B%22width%22%3A%20%2280px%22%7D)%2C%20sav_download%5D%2C%20widths%3D%5B0%2C1%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Generate%20synthetic%20data%20files%20in%20different%20formats%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20csv_click%2C%0A%20%20%20%20csv_dict%2C%0A%20%20%20%20csv_gen%2C%0A%20%20%20%20data%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20xls_click%2C%0A%20%20%20%20xls_file_row%2C%0A%20%20%20%20xls_sheet_row%2C%0A)%3A%0A%20%20%20%20if%20data%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20display%20%3D%20mo.hstack((%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.hstack(%5Bmo.md(label).style(%7B%22width%22%3A%20%22120px%22%7D)%2C%20elem%5D%2C%20widths%3D%5B0%2C%201%5D)%20for%20label%2C%20elem%20in%20csv_dict.items()%5D%20%2B%20%5Bcsv_gen%2C%20csv_click%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bxls_sheet_row%2C%20xls_file_row%2C%20xls_click%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23mo.vstack(%5Bstata_file_row%2C%20stata_click%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23mo.vstack(%5Bsav_file_row%2C%20sav_click%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22end%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20display%20%3D%20mo.md(%22Load%20your%20GMF%20file%20first%22)%0A%20%20%20%20display%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A